DE69125139T2 - Verfahren und Vorrichtung zur Korrektur von Weisschattierungen - Google Patents
Verfahren und Vorrichtung zur Korrektur von WeisschattierungenInfo
- Publication number
- DE69125139T2 DE69125139T2 DE69125139T DE69125139T DE69125139T2 DE 69125139 T2 DE69125139 T2 DE 69125139T2 DE 69125139 T DE69125139 T DE 69125139T DE 69125139 T DE69125139 T DE 69125139T DE 69125139 T2 DE69125139 T2 DE 69125139T2
- Authority
- DE
- Germany
- Prior art keywords
- correction
- output
- horizontal
- white
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 21
- 238000012937 correction Methods 0.000 claims description 141
- 238000012360 testing method Methods 0.000 claims description 17
- 235000020280 flat white Nutrition 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 4
- 230000015654 memory Effects 0.000 description 48
- 238000003705 background correction Methods 0.000 description 26
- 239000011159 matrix material Substances 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 206010003591 Ataxia Diseases 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 208000019300 CLIPPERS Diseases 0.000 description 1
- 206010010947 Coordination abnormal Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 208000021930 chronic lymphocytic inflammation with pontine perivascular enhancement responsive to steroids Diseases 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 208000028756 lack of coordination Diseases 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Picture Signal Circuits (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
- Diese Erfindung bezieht sich auf ein Verfahren und eine Vorrichtung für die automatische Weißschattierungskorrektur von Videosignalen, wobei die Korrektur aus der Verwendung einer ebenen weißen Kalibrierplatte hergeleitet wird.
- Bei Abtast-Detektorsystemen, wie beispielsweise Fernseh- (Video) Kameras entstehen Probleme, wenn man eine vollkommen weiße, strukturlose Kalibrierplatte sieht. Videosignale, die sich aus dem Sehen einer vollkommen weißen Kalibrierplatte mit einer Raster-Abtastkamera der heutigen Technik ergeben, entsprechen nicht einem "ebenen weißen" Videosignal am Ausgang, sondern enthalten stattdessen verschiedene Mengen an unerwünschten Verzerrungen oder Schattierungen. Es sind verschiedene Faktoren, welche diese Verzerrungen verursachen, unter anderen eine kameraspezifische Uneinheitlichkeit bei der Empfindlichkeit der elektrischen Einrichtungen der Videokamera und Unvollkommenheiten beim optischen System derselben. Die unerwünschte Schattierung kann als "Kalibrier"-Fehler bei dem analogen Video-Ausgangssignal angesehen werden, welcher zu einer ungenauen Reproduktion von Videosignalamplituden bei anderen Bildern führt, die mit derselben Videokamera abzubilden sind. Eine Weißschattierungs-Justierung korrigiert solche gerätetypischen "Kalibrier"- Fehler. In der Vergangenheit wurden solche Fehler durch Manipulieren der Verstärkung des Videoverstärkers auf Zeilen- oder Pixelbasis kompensiert.
- Als Beispiel sei genannt, daß man bei Videokameras verschiedene justierbare analoge Signale, wie beispielsweise solche in Sägezahn- und Parabelform, die sowohl in horizontaler, als auch in vertikaler Richtung angelegt werden können, verwenden kann, um die Video-Ausgangssignale bei einem Versuch zu modulieren, das analoge Videosignal zu korrigieren, während man die Kamera mit Hilfe einer ebenen weißen Kalibrierplatte kalibriert. Typischerweise wird eine solche Weißschattierungskorrektur manuell durchgeführt, indem man die Videoausgangswellenform aus der Kamera auf einem Monitor betrachtet und dann manuell sich ändernde Beträge an horizontalen oder vertikalen Korrekturen einführt, um die Weißschattierungsverzerrungen zu minimieren oder zu beseitigen. Die manuell veränderten Sägezahn- oder Parabel-Wellenformen werden verwendet, um das Videosignal aus der Kamera zu kompensieren, um einen weniger verzerrten Ausgang zu erzeugen, welcher der abgebildeten weißen Kalibrierplatte besser ähnlich ist. Diesen Systemen des bekannten Standes der Technik wohnt die Forderung inne, daß ein Bedienungsmann die Video-Wellenform überwacht, während eine Kalibrierplatte abgebildet wird und dann die Korrekturen eingibt, um Weißschattierungsverzerrungen zu korrigieren.
- Jedoch berücksichtigt dieses analoge Wellenformverfahren aus zwei Gründen nicht in angemessener Weise das Einführen korrektiver Wellenformen höherer Ordnung. Erstens können die Informationen, die notwendig sind, um diese Wellenformen höherer Ordnung zu bestimmen, nicht in effektiver Weise aus der visuellen Beobachtung hergeleitet werden. Zweitens ist es, selbst wenn solche korrektiven analogen Wellenformen höherer Ordnung geliefert würden, schwierig, sie manuell so einzustellen, daß man optimale Korrekturen erzielt.
- Eine weitere Beschränkung beim bekannten Stand der Technik ist, daß nur eine begrenzte Anzahl von Korrekturpunkten, verglichen mit der Gesamtzahl von Pixeln (Bildelementen oder Daten) in einem Bild, zur Verfügung steht; deshalb sind notwendigerweise die Korrekturen, die aus dieser begrenzten Anzahl von Punkten abgeleitet werden können, nicht in der Lage, Fehler zu korrigieren, die auf die Ebene einzelner Pixel aufgelöst sind. Weiterhin steht typischerweise die Wellenform, die benötigt wird, um die Korrekturfunktion durchzuführen, getrennt von der Stelle zur Verfügung, wo sie angebracht werden muß. Dieser Mangel an Koordinierung zwischen der Identifikation der korrektiven Wellenform und deren Anlegen auf der Pixelebene begrenzt die Nützlichkeit der Systeme des bekannten Standes der Technik.
- Es ist weiterhin, siehe US-A-4,698,685, eine Vorrichtung entsprechend dem Oberbegriff von Anspruch 1 bekannt. Eine solche Vorrichtung ist in der Lage, korrigierte Pixelwerte für jedes Pixel einer CCD (ladungsgekoppelten Halbleitervorrichtung) zu liefern, doch ist die Vorrichtung kompliziert und hat noch weitere Nachteile. Insbesondere ist sie, obwohl sie für eine Korrektur hochfrequenter Fehler effektiv zu sein scheint, unpraktisch für die Weißschattierungskorrektur, auf die die vorliegende Erfindung gerichtet ist.
- Angesichts der Begrenzungen des bekannten Standes der Technik ist es eine Aufgabe der vorliegenden Erfindung, für ein Verfahren und eine Vorrichtung zu sorgen, welche eine automatische Weißschattierungskorrektur eines Videosignals ermöglicht, wobei die Bestimmung der korrektiven Wellenform und auch deren Anlegen an das zu korrigierende Signal innerhalb derselben Vorrichtung erreicht wird.
- Es ist eine andere Aufgabe der Erfindung, für ein Verfahren und eine Vorrichtung für das Erkennen eines Signals zu sorgen, welches eine Weißschattierungskorrektur benötigt und im Ergebnis dieses Erkennens die erforderliche Weißschattierungskorrektur durchführt.
- Es ist noch eine weitere Aufgabe der Erfindung, für ein Verfahren und eine Vorrichtung für das Erkennen eines Signals, das eine Weißschattierungskorrektur benötigt, durch Bewertung jedes Pixels eines Videosignals und Berechnung von Weißpegel-Korrekturkoeffizienten für jenes Pixel zu sorgen, die anschließend während der Erfassung anderer Videobilder verwendet werden.
- Es ist noch eine weitere Aufgabe der Erfindung, für ein Verfahren und eine Vorrichtung für das Reduzieren des Einflusses von Rauschen während der Bestimmung einer Weißschattierungskorrektur zu sorgen.
- In Übereinstimmung mit der vorliegenden Erfindung wird für ein Weißschattierungs-Korrektursystem gesorgt, das beim Kompensieren von Weißschattierungsfehlern in einem digitalisierten Videosignal verwendet wird, welches die Merkmale des kennzeichnenden Teils von Anspruch 1 hat. Das Videosignal repräsentiert eine Folge horizontal abgetasteter Videobilder, welche eine Vielzahl von Pixeln haben, die in horizontalen Zeilen organisiert sind. Jedes der Pixel oder Datenelemente innerhalb dieses digitalisierten Videosignals ist durch einen digitalen Wert gekennzeichnet, der seine Amplitude bedeutet. Das Weißschattierungs-Korrektursystem, welches mit einem solchen digitalisierten Videosignal arbeitet, besteht aus diesen drei Haupt-Teilsystemen:
- 1) einem Prüfteil für das Prüfen der Amplitude des Ausgangssignals der Pixel, welche Teil des Videobildes sind, wenn das Bild das einer ebenen weißen Kalibrierplatte ist;
- 2) einem Rechnerteil für die Berechnung eines Weißschattierungs- Korrekturkoeffizienten für jedes Pixel, das durch den Prüfteil geprüft worden ist; und
- 3) einem Korrekturteil für das Korrigieren von Pixeln bei anschließenden Videobildern auf Basis der Weißschattierungs-Korrekturkoeffizienten, die durch den Rechnerteil berechnet worden sind.
- Der Prüfteil und der Rechnerteil funktionieren zusammen, um die benötigte Weißschattierungskorrektur zu berechnen. Zu diesem Zweck wollen wir die Struktur eines typischen Videobildes betrachten. Ein horizontal abgetastetes Videobild besteht aus einer Vielzahl horizontaler Zeilen, wobei jede horizontale Zeile mehrere Pixelamplituden, d.h. Daten, umfaßt. Eine Vielzahl horizontaler Zeilen bildet, wenn sie auf einem Bildschirm ausgerichtet sind, ein Videobild, das aus den einzelnen Pixeln aufgebaut ist, welche bei jeder Zeile vorhanden sind. Wenn die Videokamera, die das zu analysierende Bild erzeugt, auf eine ebene weiße Kalibrierplatte gerichtet wird, dann bilden die Pixel das Abbild der Kalibrierplatte. Es ist diese Bildwiedergabe dieser Kalibrierplatte, welche durch den Prüf- und den Rechnerteil analysiert wird, um die benötigte Weißschattierungskorrektur abzuleiten, weil die Wiedergabe des Bildes nicht fehlerfrei ist und eine Korrektur erfordert.
- Die gegenwärtig bevorzugte Ausführungsform der Erfindung wird jetzt beschrieben.
- Der erste Hauptblock in dem Prüf- und Rechnerteil ist ein erster Akkumulator. Dieser Block summiert Pixelamplituden (Daten), welche in jeder horizontalen Zeile des Videobildes vorhanden sind, die zu der ebenen weißen Kalibrierplatte gehört. Der Ausgang aus diesem Akkumulator ist die Summe der Amplituden der Pixel für jede horizontale Videozeile.
- Der zweite Block ist ein weiterer, zweiter Akkumulator für das Inspizieren einer Vielzahl horizontaler Zeilendaten oder Pixel. Dieser zweite Akkumulator führt zwei Funktionen durch. Erstens prüft er die horizontalen Zeilen, aus welchen das gesamte Videobild besteht, welches die flache weiße Kalibrierplatte zeigt und kompiliert aus den horizontalen Zeilendaten eine abgeleitete Größe: vertikale Spaltendaten. Zweitens summiert dieser zweite Akkumulator, nachdem er die einzelnen Datenspalten aus den horizontalen Videodaten herausgezogen hat, den Wert der Amplituden der Pixel (Daten), aus denen eine vertikale Spalte besteht, für jede Spalte, die in dem Videobild gefunden wird und gibt das Ergebnis aus.
- Die vertikalen Spaltendaten bestehen aus den Pixelamplituden in derselben Position in jeder horizontalen Zeile. Die vertikalen Spalten werden aus den horizontalen Zeilen dadurch erzeugt, daß die Pixelamplitude an einer bestimmten Position in jeder Zeile für alle Zeilen gelesen wird. Ein anderer Weg des Analysierens des Herleitens der vertikalen Spaltendaten besteht darin, sie in einem mathematischen Sinn zu betrachten. Man kann die vertikalen Daten dadurch erhalten, daß man das ebene weiße Videobild als eine Matrix von Amplituden A(n,m) betrachtet, wobei n der Zeilenindex (oder der der Bildzeilen) und m der Spaltenindex (oder der der Pixelpositionen innerhalb einer Zeile) ist. Hier ist die Amplitude von Pixel Nr. 1 in der horizontalen Zeile 1 das Matrixelement A(1,1), von Pixel Nr. 1 in der horizontalen Zeile 2 A(2,1) und von Pixel Nr. 1 in der horizontalen Zeile 3 A(3,1) und so weiter. Die vertikalen Spaltendaten bestehen aus jeder vertikalen Spalte, welche durch Pixel des Bildes gebildet werden.
- Der dritte Block des Prüf- und Rechnerteils dieses System ist eine Verarbeitungsvorrichtung für die Berechnung der Korekturkoeffizienten aus den summierten Werten, welche aus dem Ausgang aus dem ersten Akkumulator und dem Ausgang aus dem zweiten Akkumulator ausgegeben werden. Diese Funktion wird typischerweise mit einem Mikroprozessor erreicht, welcher die Werte speichert, die durch den ersten und den zweiten Akkumulator für jede Zeile und jede Spalte ausgegeben werden und die Weißschattierungs- Korrekturkoeffizienten berechnet, welche an die anschließenden Videobilder anzulegen sind. Der Prozessor schreibt die Korrekturen in einen horizontalen und einen vertikalen Korrekturspeicher, der Teil des nachstehend diskutierten Korrekturteils ist.
- Kehren wir jetzt zur Gesamtstruktur zurück, so ist der dritte Hauptteil der bevorzugten Ausführungsform dieser Erfindung der Korrekturteil. Hier werden die Korrekturkoeffizienten, welche durch den Prüf- und Rechnerteil erzeugt werden, während die Kalibrierplatte abgebildet wird, gelesen und in einer digitalen Multiplizierschaltung synchron mit den Pixelwerten kombiniert, aus welchen der Strom digitalisierter Videorahmen besteht, der das Videosignal bildet. Dieser Korrekturteil multipliziert die Amplitude jedes Pixels jedes Videorahmens des ankommenden Videosignals mit den gespeicherten Korrekturkoeffizienten. Das Produkt aus den ankommenden Pixeln und den Korrekturkoeffizienten repräsentiert eine korrigierte Video-Pixelamplitude, bei welcher die Weißschattierungsfehler für alle Videobilder kompensiert sind, die dem Bild der ebenen weißen Kalibrierplatte folgen.
- Das Speichermittel für das Abspeichern von Weißschattierungskorrekturen besteht aus drei Hauptteilen. Der erste Teil ist ein horizontaler Korrekturspeicher für das Abspeichern der Korrekturkoeffizienten, die aus den vertikalen Spaltendaten erzeugt worden sind. Diese vertikalen Spaltendaten wurden durch den zweiten Akkumulator in dem Prüf- und Rechner-Teilsystem erzeugt. Der zweite Teil ist der vertikale Korrekturspeicher für das Abspeichern der Korrekturkoeffizienten, welche aus dem horizontalen Datensummierungsakkumulator erzeugt worden sind.
- Der dritte Hauptteil, der zu dem Speichermittel gehört, ist eine Verknüpfungsschaltung für das Verknüpfen und die zeitliche Steuerung des Lesens von Daten, welche in den beiden Korrekturspeichern abgespeichert sind. Diese Verknüpfungsschaltung gestattet, daß die Daten aus dem horizontalen Korrekturspeicher und dem vertikalen Korrekturspeicher für jedes Pixel sequentiell gelesen werden können. Es ist eine Verknüpfungsschaltung für das Verknüpfen des vertikalen Korrekturkoeffizienten und des horizontalen Korrekturkoeffizienten vorgesehen, die zu einem speziellen Pixel des Videosignals gehören. Diese Verknüpfungsschaltung gibt einen Pixel-Korrekturkoeffizienten an die Multiplizierschaltung für jedes Pixel aus.
- Es können viele solche Korrektursätze in dem Speicher des Mikroprozessors des Prüf- und Rechnerteils für ein Lesen in den vertikalen und den horizontalen Korrekturspeicher je nach dem jeweiligen Betriebszustand der Videokamera, die das Bild erzeugt, abgespeichert werden. Beispielsweise können verschiedene Weißschattierungs-Korrekturkoeffizienten für das Kompensieren von Weißschattierungsfehlern in einem digitalisierten Videosignal für verschiedene Kamerabedingungen einschließlich Blendeneinstellung und Zoomstellung abgespeichert werden.
- Generell besteht das Verfahren für das Erkennen und Kompensieren von Weißschattierungsfehlern bei einem digitalisierten Videosignal, welches ein horizontal abgetastetes Videobild repräsentiert, welches eine Vielzahl von Pixeln hat, aus den folgenden Schritten:
- 1) Überprüfen der Amplitude der Pixel, aus welchen das Videobild einer ebenen weißen Kalibrierplatte besteht;
- 2) Berechnung eines Weißpegel-Korrekturkoeffizienten für jedes Pixel der Kalibrierplatte; und
- 3) Korrektur der Amplitude von Pixeln anschließender Pixel auf Basis der in Schritt 2 berechneten Weißpegel-Korrekturkoeffizienten.
- Der Prüf- und Berechnungsschritt besteht aus:
- a) einem Summieren der Pixelamplituden für jede horizontale Zeile, aus denen das Videobild der Kalibrierplatte zusammengesetzt ist;
- b) einem Prüfen einer Vielzahl horizontaler Zeilen, aus denen ein ganzes Videobild zusammengesetzt ist und aus einem Kompilieren von vertikalen Spalten, welche aus den horizontalen Daten hergeleitet werden, aus den horizontalen Zeilen;
- c) einem Summieren der so erhaltenen vertikalen Daten für jede vertikalen Spalte vertikaler Daten;
- d) einem Berechnen vertikaler Korrekturkoeffizienten aus den summierten Werten der horizontalen Zeilen durch:
- i) Berechnen der Durchschnittsamplitude für jede Zeile in dem Bild;
- ii) Finden des größten Durchschnittswertes für jede Zeile in dem Bild; und
- iii) Berechnen eines Multiplikations-Faktors für jede Zeile, durch den der Durchschnittswert der Zeile auf den größten in dem Bild vorkommenden Zeilen-Durchschnittswert gebracht wird; und
- e) Berechnen horizontaler Korrekturkoeffizienten aus den summierten Werten der horizontalen Zeilen durch:
- i) Berechnen der Durchschnittsamplitude aller Spaltendaten in dem Bild;
- ii) Finden des größten Durchschnittswertes für alle Spaltendaten in dem Bild; und
- iii) Berechnen eines Multiplikations-Faktors für jedes Spaltendatum, welcher den Durchschnittswert jenes Spaltendatums auf den größten in dem Bild vorkommenden Spalten-Durchschnittswert gebracht wird.
- Das Korrekturverfahren schließt auch das Abspeichern der Korrekturkoeffizienten in einem horizontalen und einem vertikalen Speicher ein, deren Inhalt synchron mit den Pixeln von Videobildern gelesen wird, welche anschließend an das Kalibrierbild reproduziert werden. Diese Korrekturen multiplizieren die Pixelwerte anschließender Bilder und korrigieren sie dadurch auf Weißschattierungsfehler.
- Diese Aufgaben und Vorteile liegen zusammen mit anderen in den konstruktiven und Betreibens-Einzelheiten, wie sie im Nachstehenden vollständiger beschrieben und beansprucht werden. Bei den Zeichnungen zeigen
- Fig. 1 das Bilderfassungs- und -korrektursystem insgesamt;
- Fig. 2 ein Blockschaltbild der Haupt-Schaltkreisblöcke, welche eine Weißschattierungskorrektur entsprechend der vorliegenden Erfindung durchführen; und
- Fig. 3 ein als Matrix organisiertes Videobild, das für die mathematische Modellierung bei dieser Erfindung verwendet wird.
- Fig. 1 zeigt das Videosystem insgesamt, bei welchem die vorliegende Erfindung von Nutzen ist. Hier bildet eine Videokamera 500, deren Ausgang auf Weißschattierungsfehler zu korrigieren ist, eine ebene weiße Kalibrierplatte 502 ab. Kamera 500 hat ein System aus Bildröhre oder irgendeiner Aufnahmeeinrichtung und Linse 520. Das Bild der Kalibrierplatte 502 wird auf fotoempfindlichen Sensoren 530 fokussiert, welche den fotoempfindlichen Teil der Kamera 500 ausmachen. Die Helligkeitsinformation von den Sensoren 530 wird in einer Abtastelektronik seriell gemacht, welche zu den Sensoren 530 gehört und zum Videoverstärker 200 übertragen. Videoverstärker 200 hat eine feste Verstärkung. Der Ausgang aus Verstärker wird durch den Analog-Digital-(A/D-)Wandler 220 in digitale Signale konvertiert. Schattierungskorrektureinheit 600 führt die Weißschattierungskorrektur in der Reihenfolge der Bilder durch, welche durch die Videokamera 500 und den zugeordneten Videoverstärker 200 erzeugt werden. Das digitale Signal aus der Korrektureinheit 600 wird durch den Digital-Analog-(D/A-)Wandler 400 in ein analoges Signal rückkonvertiert, welches man auf dem Bildmonitor 300 sieht. Blenden- und Zoom- Informationen werden von Kamera 500 in die Korrektureinheit 600 übertragen.
- Fig. 2 ist ein Blockschaltbild der Schaltung für die Durchführung der Weißschattierungskorrektur 600 entsprechend der vorliegenden Erfindung. Generell implementiert das Korrekturmittel 10 die erforderliche Korrektur des Signals nach Prüfen des Signals, welches die Weißschattierungskorrektur erfordert, durch das Prüfmittel 20 durch. Prüfmittel 20 generiert eine Zeilen- Mittelwertstabelle für jede horizontale Zeile und eine Spaltenmittelwertstabelle für jede vertikale Spalte und Verstärkungskoeffizienten aus dem anfänglich unkorrigierten Videobild der Kalibrierplatte.
- Der Zeilen-Mittelwert für jede horizontale Zeile wird in zwei Schritten berechnet:
- a) Summation des Betragswertes der Amplitude (oder Helligkeit) jedes Pixels in der Zeile, welche jeweils untersucht wird, und
- b) Dividieren jener Summe durch die Anzahl der Datenelemente (d.h. Pixel) in der Zeile.
- Das Ergebnis ist der Zeilen-Mittelwert für jene Zeile. Der Spalten-Mittelwert für jede Spalte wird in ähnlicher Weise berechnet, d.h. Summation der Helligkeitswerte der in einer Spalte des Bildes vorhandenen Pixel und Dividieren durch die Anzahl der Zeilen, über welche die vertikale Summe gebildet wurde.
- Die Verfahrensweise und deren Implementierung wird durch Verwendung eines Beispiels erklärt. Bei diesem Beispiel werden zuerst die horizontalen Zeilen-Mittelwerte berechnet, anschließend werden die vertikalen Spalten-Mittelwerte berechnet. Beachten Sie, daß die vertikalen Spalten-Mittelwerte zuerst berechnet und korrigiert werden können, ohne die Gesamtergebnisse zu beeinflussen.
- Bei der als Beispiel angeführten Implementierung empfängt der horizontale Akkumulator 90 den repräsentativen digitalen Amplitudenwert für jedes Pixel über eine gegebene Zeile und summiert diese Amplitudenwerte über die gesamte Zeile. Der horizontale Akkumulator 90 kann beispielsweise aus Latch-Schaltungen AM 29823A bestehen, die von Advanced Micro Devices hergestellt werden, welche in Verbindung mit vier Vier-Bit-Addern 74 LS 283 arbeiten, welche von Texas Instruments hergestellt werden, ergänzt durch die richtige "Verbindungs"-Logik (wie beispielsweise Puffer 74ALS573) und versorgt mit der notwendigen Zeitsteuerungsinformation, um die Summationsfunktion durchzuführen. Der Summationsschritt wird für jede horizontale Zeile wiederholt, welche das Bild ausmachen, und das Ergebnis der Summation für jede Zeile wird durch Prozessor 110 in dessen Speicher abgespeichert.
- Zu beachten ist, daß die Summation, die sich für die Zeilen ergibt, welche das digitalisierte Bild ausmachen, während eines einzelnen Videorahmens nicht in den Speicher geladen werden müssen, der zu dem Prozessor 110 gehört, sondern über ein paar Videorahmen verteilt werden können, solange dieselbe Kalibrierplatte abgebildet wird. Weil der Zeitbedarf für die Verarbeitung nicht kritisch ist, kann Prozessor 110 zum Beispiel ein durch INTEL hergestellter Mikroprozessor 8031 sein.
- Der vertikale Akkumulator 100 funktioniert in ähnlicher Weise. Die Tabelle der vertikalen Pixelsummen wird berechnet und unter Verwendung des vertikalen Akkumlators 100 abgespeichert. Der vertikale Akkumulator kann beispielsweise aus einem Einzellen- Speicher bestehen, wie beispielsweise NEC Electronics, Teile- Nummer UPD41101, dem vorherigen Komplement von Vierbit-Addern 74 LS 284 und den Latch-Kreisen AM29843 von Advanced Micro Devices.
- Prozessor 100 berechnet einen Satz Verstärkungskoeffizienten, welche den Mittelwert jeder Zeile und jeder Spalte dicht an jenen des Spitzenwertes der Zeile oder Spalte anheben. Dieser Satz Koeffizienten wird in den horizontalen Korrekturspeicher 30 und den vertikalen Korrekturspeicher 40 übertragen. Die Korrekturspeicher 30 und 40 können beispielsweise aus einem Speicher NEC 41101C-3 bestehen. Diese Koeffizienten (Verstärkungswerte), die in diesen Speichern abgespeichert sind, können dann bei folgenden Bildern benutzt werden, um den Wert des (digitalen) Ausgangs für die Weißpegelverzerrungen zu korrigieren.
- Unter der Annahme des vorstehenden Schaltkreis-Aufbaus verwendet Prozessor 110 Software, um diese Schritte durchzuführen:
- a) jede der in seinem Speicher abgespeicherten Summen durch die vorprogrammierte (bekannte) Anzahl von Pixeln zu dividieren, aus welchen die Zeilen bestehen, die Zeilen-Mittelwerte bilden und anschließend vertikale Mittelwerte für alle Zeilen und Spalten zu berechnen, aus welchen das Videobild der Kalibrierplatte besteht;
- b) in seinem Speicher die horizontalen und vertikalen Mittelwerte zu suchen, welche den größten Wert haben, der der Spitzenwert genannt wird;
- c) unter Verwendung der Durchschnittswerte, welche den Spitzenwert haben, berechnet Prozessor 100 dann Verstärkungskoeffizienten für jede Zeile und jede Spalte;
- d) diese Verstärkungskoeffizienten werden dann in seinem internen Speicher für ein anschließendes Ausgeben in die Korrekturspeicher 30 und 40 abgespeichert.
- Die zweiteilige äquivalente mathematische Verfahrensweise für diese Folge digitaler Operationen ist wie folgt. Nehmen wir an, daß ein digitalisiertes Videobild durch eine Matrix von Pixelamplituden Amp(n,m) dargestellt wird, welche n Zeilen hat, von denen jede m Pixel-Amplituden hat. Jede n-te horizontale Zeile in der Matrix überquert m Spalten und jede m-te vertikale Spalte überquert n Zeilen. Dies entspricht dieser äquivalenten Darstellung eines Videobildes in Matrixform, wie in Fig. 3 gezeigt. Es ist klar, daß die Zeilen von Amp(n,m) die Videozeilen in einem Rahmen (oder Bild) darstellen. Die vertikalen Spalten von Amp (n,m) werden deshalb aus den Pixeln gebildet, aus welchen jede Zeile besteht.
- Wenn dieses mathematische Modell eines verallgemeinerten Videobildes gegeben ist, dann kann die Beschreibung der Berechnung der Korrekturkoeffizienten detailliert beschrieben werden.
- I - Berechnung der horizontalen Korrekturkoeffizienten (in einem vertikalen Korrekturspeicher abgespeichert)
- Schritt 1 - Berechnung der Mittelwerte für jede Zeile
- wobei Amp(n,m) die äquivalente Matrix digitalisierter Amplituden jedes Pixels sind, aus denen ein Videobild besteht, welches n Zeilen und m Spalten hat,
- n der Index von n horizontalen Zeilen des Bildes ist,
- m der Index von m Spalten ist, die durch m Pixel gebildet werden, aus welchen jede Zeile des Videobildes besteht,
- AVL(n) der Zeilen-Mittelwert der n-ten Zeile ist.
- Schritt 2 - Finden der Zeile mit dem größten Mittelwert
- PKL = MAX(AVL(n))
- wobei PKL der größte (maximale) Wert in dem in Schritt 1 berechneten Satz AVL(n) ist.
- Schritt 3 - Berechnung der Einstellung der Zeilenverstärkung GAINL(n), die benötigt wird, um jede Zeile n so zu multiplizieren, daß gewährleistet wird, daß sie auf denselben Pegel wie die Zeile mit dem größten Mittelwert PKL vorstehend angehoben wird.
- Die berechneten Verstärkungskoeffizienten GAINL(n) werden dann in den vertikalen Korrekturspeicher 40 übertragen, welcher die vertikale Weißschattierungskorrektur enthält, durch Prozessor 110. Der vertikale Korrekturspeicher 40 kann beispielsweise aus einem Speicherchip NEC 41101-3 bestehen. Die auf der Basis der horizontalen Zeilendaten berechneten Verstärkungskoeffizienten werden benutzt, um bezüglich der vertikalen Schattierung zu korrigieren; aus diesem Grunde werden sie in den vertikalen Korrekturspeicher 40 geladen.
- Wenn einmal der berechnete Wert GAINL(n) in den vertikalen Korrekturspeicher 40 übertragen ist, dann steht das Bild der Kalibrierplatte, das einer korrigierten Amp(n) entspricht, für den vorstehend beschriebenen vertikalen Korrekturschritt zur Verfügung.
- Unter beiden Annahmen wird ohne Rücksicht auf die Änderung bei Amp(n,m) als Folge einer partiellen Korrektur derselbe generelle Prozeß dann für die horizontale Schattierungskorrektur ausgeführt. Deshalb werden die vertikalen Korrekturverstärkungen unter der Annahme gezeigt, daß Amp(n,m) dieselbe ist, das heißt, die vertikale und die horizontale Korrekturberechnung wird ausgeführt.
- II - Berechnung der vertikalen Korrekturverstärkungen - (im horizontalen Korrekturspeicher abgespeichert)
- Schritt 1 - Berechnung der Mittelwerte für jede Spalte m.
- wobei Amp(n,m) die Matrix der digitalisierten Amplituden jedes Pixels ist, die n Zeilen und m Spalten hat und
- n die Zeilenzahl und
- AVC(m) der Spalten-Mittelwert der m-ten Spalte ist.
- Schritt 2 Finden der Spalte mit dem größten Mittelwert
- PKC = MAX(AVC(m))
- wobei PKC der größte (maximale) Wert in dem in Schritt 1 berechneten Satz AVC(m) ist.
- Schritt 3 - Berechnen der Verstärkungseinstellung GAINC(m), jede Spalte zu multiplizieren mit:
- Zu beachten ist, daß dieselbe Berechnungsroutine generell für die Berechnung sowohl der horizontalen, als auch der vertikalen Verstärkung verwendet wird.
- Zusammenfassend ist zu sagen, daß die Koeffizienten, die benötigt werden, um Weißschattierungsfehler in Videobildern zu korrigieren, berechnet werden durch:
- a) Überprüfung digitaler Werter von Pixelamplituden, die sowohl im horizontalen Akkumulator 90, als auch im vertikalen Akkumulator 100 abgespeichert sind;
- 2) Berechnung des Mittelwertes (AV) für jede Zeile (im horizontalen Akkumulator 90) und jede Spalte (im vertikalen Akkumulator 100);
- 3) Bestimmung des größten Mittelwertes (PKL oder PKC) für entweder eine Zeile oder eine Spalte, die in den beiden Akkumulatoren 90, 100 enthalten sind;
- 4) Dividieren des größten Mittelwertes, des Spitzenwertes (PKL oder PKC) durch den Mittelwert AVE jeder speziellen Zeile n oder Spalte m und dann Subtrahieren des Wertes 1,0; und
- 5) Schreiben der Verstärkungswerte in die Korrekturspeicher 30, 40.
- Die Korrekturschaltung 10 führt die aktuelle Signalkorrektur durch, welche die Weißschattierungskorrektur in anschließenden Videobildern ausführt. Wie vorstehend vermerkt, werden der horizontale Korrekturspeicher 30 und der vertikale Korrekturspeicher 40 mit Verstärkungskoeffizienten GAINL(m) und GAINL(n) geladen, welche, wenn sie miteinander summiert, zu 1,0 addiert und an die Videoinformation aus dem A/D-Wandler angebracht sind, den Mittelwert jeder vertikalen Spalte und horizontalen Zeile auf nahe- zu denjenigen ihrer entsprechenden Spitzenspalte oder -zeile erhöhen.
- Das Lesen der Verstärkungswerte, die in dem horizontalen und dem vertikalen Speicher enthalten sind, wird durch den Pixel-Taktgeber beziehungsweise einen horizontalen Taktgeber, die durch den Prozessor 100 gesteuert werden, getaktet und dadurch der zutreffende Verstärkungskoeffizient in der horizontalen und vertikalen Richtung über Adder 50 und 60 zu dem Zeitpunkt ausgegeben, der der Bildlage eines speziellen zu korrigierenden Pixels entspricht. Die beiden Korrekturwertsätze, die aus dem horizontalen Korrekturspeicher 30 und dem vertikalen Korrekturspeicher 40 ausgeben werden, werden durch Adder addiert, um einen Verstärkungskoeffizienten für jedes Pixel zu liefern, aus denen das Bild besteht. Es wird ein Koeffizient Null erzeugt, wenn keine Korrektur benötigt wird, d.h. beim Spitzenwert. Ein Wert 1, wird zum summierten Korrektursignal durch Adder 60 addiert. Dies ist der "Verstärkungspunkt eins" der Multiplizierschaltung 70. Multiplizierschaltung 70 kann beispielsweise einen von LOGIC hergestellten Multiplikator LMU12 enthalten.
- In Multiplizierschaltung 70 wird das digitalisierte Eingangs- Videosignal mit dem (digitalen) Ausgang aus Adder 60 multipliziert. Für jedes Pixel wird ein Verstärkungskoeffizient mit einem Wert, welcher die Verstärkung des ankommenden Signals ungefähr auf denjenigen des Spitzen-Mittelwertes erhöht, mit dem ankommenden Videosignal multipliziert. Durch Verwendung dieses Koeffizienten wird der Ausgang aus Multiplizierschaltung 70 so korrigiert, daß Fehler, die mit der Weißschattierung zusammenhängen, kompensiert werden.
- Generell wird Multiplizierschaltung 70 auf eine Zahl höher als 1,0 dank des Adders 60 eingestellt, welcher sicherstellt, daß die geringstmögliche Einstellung für 70 1,0 ist. Deshalb ist es bei einer typischen Szene, die von der Videokamera gesehen wird, möglich, daß ein oder mehrere Pixel heller als der Spitzenwert sind, welcher bei dem erzeugten digitalen Ausgang erkannt werden, wenn man die ebene Kalibrierplatte sieht und die Kalibrierfunktion durchführt.
- Dies hat zur Folge, daß für jene Pixel, deren äquivalente digitale "Helligkeit" verhältnismäßig hoch ist, der Ausgang aus der Multiplizierschaltung 70 den maximalen Zählwert von D/A-Wandler 400 überschreitet, welcher benötigt wird, um die digitale Videoinformation in die analoge Wellenform zu konvertieren, welche durch Monitor 300 zu reproduzieren ist. Weil D/A-Wandler 400 nicht in der Lage ist, einen digitalen Eingang, der höher als ein maximaler Zählwert (225 bei einem 8-Bit-System oder 4095 bei einem 12-Bit-System oder 65535 bei einem 16-Bit-System) ist, ordnungsgemäß zu konvertieren, ist Begrenzungsschaltung 80 ausdrücklich vorgesehen, um sicherzustellen, daß der digitale Ausgang diesen maximalen Zählwert nicht überschreitet. Begrenzungsschaltung 80 gibt einen maximalen Zählwert (255, 4095 oder 65535) aus, wenn der äquivalente digitale Wert eines hellen Pixels, der von 70 ausgegeben wird, gleich dem maximalen Zählwert eines speziellen Systems oder größer als dieser ist.
- Das folgende vereinfachte Beispiel veranschaulicht die Funktionsweise der vorliegenden Erfindung. Wir wollen für den Zweck dieses Beispiels eine Videokamera annehmen, welche eine Fotodetektor-Matrix 5 x 5 hat. Diese Videokamera wird jetzt benutzt, um ein Fernsehbild (Rahmen) zu erfassen, welches fünf horizontale Zeilen hat, die aus jeweils 5 Pixeln bestehen. Dies bedeutet, daß die fünf vertikalen Spalten ebenfalls aus fünf Pixeln bestehen. Die nachstehende Tabelle 1 veranschaulicht die Werte, die digitale Pixelamplituden repräsentieren, welche von der Kamera vor der Korrektur ausgegeben werden, wenn eine ebene weiße Kalibrierplatte gesehen wird. Der Ausgang des Fotodetektorenfeldes 5 x 5 wird durch einen A/D-Wandler 8 Bit digitalisiert. TABELLE 1 Digitalisierte Videoamplituden von der Videokamer vor der Korrektur
- Unter Bezugnahme auf Fig. 2 wird nach Ankunft des ersten 25- Pixelrahmens der Ausgang aus Adder 60 gleich 1,0, d.h. der Verstärkungseinstellung eins für die Multiplizierschaltung 70. Dies ist deshalb so, weil der Ausgang und der Inhalt des horizontalen Korrekturspelchers 30 und des vertikalen Korrekturspeichers 40 beide 0 sind. Da es zu dieser Zeit keine Korrektur an dieser Stelle gibt, wird der Ausgang aus Begrenzerschaltung 80 gleich dem Eingang in Multiplizierschaltung 70, d.h. es ist noch keine Korrektur an dem anfänglichen 25-Pixelrahmen durchgeführt worden.
- Danach addiert der horizontale Akkumulator 90 alle Werte von Zeile 1 (205 + 220 + 225 + 220 + 205 = 1075). Ein horizontales Einschaltsignal, das von dem Prozessor 110 geliefert wird, taktet den horizontalen Akkumulator 90, um den Akkumulationsprozeß ordnungsgemäß zu takten. Der horizontale Akkumulator 90 tut dasselbe für jede der restlichen Zeilen 2 - 5 und gibt deren entsprechende akkumulierte Werte (1165, 1190, 1165, 1075) ebenfalls an Prozessor 110 aus. Prozessor 110 dividiert den akkumulierten Wert für jede Zeile durch die Gesamtzahl von Pixeln in der Zeile (z.B. für Zeile 1 10705 : 5 = 215), um zu einem Mittelwert für jede Zeile zu kommen. Die Divisionseinrichtung von Prozessor 110 führt dann dieselbe Berechnung für jede der restlichen Zeilen 2 - 5 durch, um den Mittelwert für jede Zeile zu erhalten. Unter Verwendung der in Tabelle 1 gezeigten Pixelamplituden sind die Mittelwerte für die Zeilen 1 - 5 215, 233, 238, 233 beziehungsweise 215.
- Nach dem Erreichen der Mittelwerte AVL(n) für jede Zeile bestimmt Prozessor 110, welcher von den Zeilen-Mittelwerten der Spitzen-Zeilenmittelwert PKL ist. Der Spitzen-Zeilenmittelwert aus den Zeilen 1 - 5 ist der Mittelwert AVL(3) von Zeile 3 oder 238. Um zu dem Koeffizienten für die Korrektur der Verstärkung zu kommen, dividiert Prozessor 110 den Spitzenwert durch den Mittelwert jeder Zeile und subtrahiert dann 1,0, um den Korrekturkoeffizienten für jedes Pixel in der Zeile zu erhalten. Zum Beispiel wird für Zeile 1 der Spitzenwert 238 durch den Mittelwert 215 dividiert und wird dann 1,0 subtrahiert, um zu dem Koeffizienten 0,107 zu kommen. In ähnlicher Weise ergeben sich die Koeffizienten für die restlichen Zeilen 2 - 5 zu 0,022, 0, 0,022 beziehungsweise 0,107. Digitale Werte, die diesen Korrekturkoeffizienten entsprechen, werden in den vertikalen Korrekturspeicher 40 geladen und mit dem Ausgang aus dem horizontalen Korrekturspeicher 30 addiert (an diesem Punkt in der Berechnung ist der Ausgang aus dem horizontalen Korrekturspeicher noch 0).
- Im Adder 60 wird die Verstärkungszahl von 1,0 zu dem Ausgang von Adder 50 addiert und wird benutzt, um das ankommende Videosignal durch die Multiplizierschaltung 70 mit den Verstärkungswerten zu multiplizieren, die in dem vertikalen Korrekturspeicher 40 abgespeichert sind. Die Ausgabewerte nach diesem ersten horizontalen Korrekturschritt werden nachstehend in Tabelle 2 gezeigt. TABELLE 2 Korrigierter Videoausgang nach der horizontalen Korrektur
- Die in Tabelle 2 dargestellten Werte sind die Werte, die aus dem Video-Korrekturprozeß ausgegeben werden, nachdem der vertikale Korrekturprozeß abgeschlossen ist.
- Danach wird der horizontale Korrekturschritt durchgeführt. Der Ausgang aus der Begrenzerschaltung 80, welcher das vertikal korrigierte Signal repräsentiert, wird in den vertikalen Akkumulator 100 eingegeben. Der vertikale Akkumulator addiert jeden der Werte für jedes Pixel der vertikalen Spalten. Die addierten Werte für die Spalten 1 - 5 sind 1129, 1223, 1250, 1223 beziehungsweise 1229.
- Dann dividiert Prozessor 110 die Summe jeder Spalte durch die Anzahl der Zeilen in dem Bild (d.h. für Spalte 1 1129 : 5 = 226). Die Divisionseinrichtung von Prozessor 110 tut dasselbe für jede der verbleibenden Spalten 2 - 5 und kommt zu den Werten 245, 250, 246 beziehungsweise 226 für jede der verbleibenden 4 Spalten. Prozessor 110 bestimmt dann den Spitzenwert (Spalte 3, 250) und dividiert den Spitzenwert durch den Mittelwert jeder Spalte und subtrahiert 1,0 (z.B. Spalte 1, (250 : 226) - 1 = 0,106). Ein digitaler Wert, der diesem horizontalen Korrekturkoeffizienten entspricht, wird in den horizontalen Korrekturspeicher 30 eingegeben. Dieselbe mathematische Prozedur wird für die horizontalen Korrekturkoeffizienten für die Spalten 2 - 5 zur Anwendung gebracht. Die horizontalen Korrekturkoeffizienten für die Spalten 2 - 5 sind bei diesem Beispiel: 0,106, 0,020, 0,0, 0,020 beziehungsweise 0,106.
- Die vorher in den vertikalen Korrekturspeicher 40 geladenen Korrekturkoeffizienten und die in den horizontalen Korrekturspeicher 30 geladenen Korrekturkoeffizienten werden in Adder 50 für jedes einzelne Pixel addiert. In Adder 60 wird die Verstärkungszahl 1,0 zu dem Ausgang aus Adder 50 addiert, und das Ergebnis wird dann benutzt, um das ankommende digitalisierte Videosignal in Multiplizierschaltung 70 zu modulieren. Tabelle 3 zeigt Listen der Multiplizierschaltungs-Ausgabewerte für jedes Pixel, welche das ankommende Videosignal korrigieren, nachdem sowohl die horizontalen, als auch die vertikalen Verstärkungen, die in den Korrekturspeichern 40 oder 50 abgespeichert sind, addiert, um 1 erhöht und durch Multiplizierschaltung angebracht worden sind. TABELLE 3 Summe von Korrektur-VERSTÄRKUNGEN für jedes Pixel
- Die Ausgabewerte von Multiplizierschaltung 70 für jedes Pixel nachdem der horizontale (zweite) Korrekturschritt bei den Daten durchgeführt worden ist, die in Tabelle 1 gezeigt werden, werden nachstehend in Tabelle 4 gezeigt. TABELLE 4 Korrigierte Pixelamplituden Wie man aus den Zahlen in Tabelle 4 erkennen kann, werden die resultierenden Signale alle auf ungefähr den Spitzen-Weißwert gebracht, der in das System eingegeben wird (250 in diesem Beispiel). Folglich wird ein im wesentlichen ebenes weißes Signal für ein ebenes weißes Eingabesignal ausgegeben. Wenn dieses Beispiel auf ein Standard-NTSC-Fernsehbild erweitert wird, dann dauert der Korrekturprozeß ungefähr 1,5 Sekunden.
- Das System kann weiter dadurch verbessert werden, daß man mehrere Korrekturwellenformen in dem Speicher von Prozessor 110 für eine Verwendung bei verschiedenen Zoomstellungen, Blendeneinstellungen oder irgendwelchen anderen Bedingungen abspeichert, welche den Betrag der benötigten Weißschattierungskorrektur verändern würden. Wenn zum Beispiel eine andere Zoomstellung benutzt wird, dann sind die Schattierungen anders, weil unter anderem eine andere Linsenkonfiguration benutzt wird. Um eine Kompensation solcher Differenzen zu ermöglichen, könnte eine Vielzahl von Speicherplätzen in Prozessor 110 benutzt werden, um Korrekturdaten zu speichern, die verschiedenen Bedingungen entsprechen. Wenn beispielsweise die Kamera in eine spezielle Zoomstellung gebracht wird, dann wird der Korrekturkoeffizient aus einem Speicherplatz hergeleitet, der jener Zoomstellung entspricht. Durch Schalten des Ausgangs von Prozessor 110 auf der Basis davon, welche Bedingung (Zoom, Blendeneinstellung, Verstärkung usw.) vorhanden ist, wäre der Koeffizient für eine Korrektur für eine spezielle Bedingung schnell verfügbar.
- Ein weiteres Merkmal der vorliegenden Erfindung ist, daß die angegebenen Prüf- und Berechnungsschritte zahlreiche Male wiederholt werden können, während dasselbe Bild der Kalibrierplatte angesehen wird, bevor endgültige Korrekturkoeffizienten in den vertikalen und den horizontalen Korrekturspeicher eingeschrieben werden. Dieses sequentielle Erfassen derselben Videoinformation und auch die Möglichkeit des Verfahrens, in Richtung auf ein Konvergieren zu einer verfeinerten Reaktion nach vielen Iterationen, gestattet, daß dieses System tolerant gegenüber einem Rauschen ist. Der Nutzen besteht darin, daß der Einfluß eines Signalrauschens während der Durchführung der beschriebenen Inspektions- und Berechnungsschritte dadurch minimiert werden kann, daß die Prüf- und Berechnungsschritte viele Male hintereinander durchgeführt werden.
- Obwohl die vorliegende Erfindung bezogen auf bevorzugte Ausführungsformen gezeigt und beschrieben worden ist, denken wir, daß verschiedene Änderungen und Modifikationen, welche für Personen, die mit der Technik, zu welcher die Erfindung gehört, vertraut sind, offensichtlich sind, innerhalb des Geistes und des Geltungsbereiches der Erfindung liegen. Beispielsweise kann das System dadurch vereinfacht werden, daß man während des Prozesses der Mittelwertbildung weniger Punkte verwendet, das heißt, aus weniger Zeilen oder Spalten Stichproben entnimmt und dann entweder interpoliert, um die fehlenden Stichproben für die Korrektur zu erhalten oder die Korrekturspeicher mit einer niedrigeren Taktrate taktet, wobei effektiv die Verstärkungswerte für mehr als ein Pixel oder eine Zeile wiederholt werden. Zusätzlich könnte, während die Erfindung, wie sie im Vorstehenden offenbart wird, Verstärkungskoeffizienten für jede Zeile oder Spalte berechnet, welche die entsprechenden Mittelwerte auf jene der Spitzenzeile oder -spalte erhöhen, die Verstärkung auch herabgesetzt werden, indem Koeffizienten berechnet werden, welche die Verstärkung der Spitzenzeile und/oder -spalte herabsetzen. Folglich können zahlreiche Änderungen und Modifikationen vorgenommen werden, während man immer noch innerhalb des Geltungsbereiches der Erfindung bleibt, wie er in den beigefügten Ansprüchen definiert ist.
Claims (6)
1. Vorrichtung zur Korrektur von Weißschattierungen zum
Erfassen und Kompensieren von Weißschattierungsfehlern in einem
digitalisierten Videosignal, das eine Folge von horizontal
abgetasteten Videobildern einer ebenen, weißen
Kalibrierplatte wiedergibt, die eine Anzahl von horizontalen Linien
haben, wobei jede horizontale Linie eine Anzahl von Pixeln
enthält und wobei die Vorrichtung aufweist:
eine Prüfeinrichtung zum Überprüfen der Anzahl von Pixeln
und eine Rechnereinrichtung zum Berechnen eines Weißpegel-
Korrekturkoeffizienten für jedes von der Prüfeinrichtung
überprüften Pixels; und
eine Korrektureinrichtung (10), um Videobilder auf das
eine ebene, weiße Kalibrierplatte wiedergebende Videobild
zu korrigieren, wobei die Korrektur auf den in der
Rechnereinrichtung berechneten Weißpegel-Korrekturkoeffizienten
basiert, wodurch Weißschattlerungsfehler der durch das
digitalisierte Videosignal wiedergegebenen Videobilder
kompensiert werden, wobei die horizontal abgetasteten Videobilder
eine Anzahl von horizontalen Linien haben, jede horizontale
Linie eine Anzahl von Pixeln aufweist und wobei die
Vorrichtung dadurch gekennzeichnet ist, daß die Rechnereinrichtung
aufweist:
eine erste Akkumulatoreinrichtung (90), um die Pixel-
Amplituden In jeder horizontalen Linie der horizontal
abgetasteten Videobilder zu addieren, mit einem ersten Ausgang,
wobei die erste Ausgabe der addierte Wert der
Pixel-Amplituden von jeder horizontalen Linie ist, eine zweite
Akkumulatoreinrichtung (100), um ein Anzahl horizontaler Linien zu
überprüfen und um aus den horizontalen Linien eine Anzahl
vertikaler Spaltendaten zu Erstellen, die aus der Anzahl der
Pixel stammen, die in den horizontalen Linien enthalten
sind, mit einem zweiten Ausgang, wobei die zweite Ausgabe
der addierte Wert der erstellten vertikalen Spaltendaten aus
jeder Spalte ist, die in der Anzahl der Pixel gefunden wird,
die in den horizontalen Linien enthalten sind, und eine
Verarbeitungseinrichtung (110), um die
Korrekturkoeffizienten aus den addierten Werten zu berechnen, die von dem
ersten und zweiten Ausgang ausgegeben werden, die von der
ersten bzw. der zweiten Akkumulatoreinrichtung ausgehen.
2. Vorrichtung zur Korrektur von Weißschattierungen nach
Anspruch 1, wobei die Korrektureinrichtung aufweist:
eine Speichereinrichtung, um die Korrekturkoeffizienten
zu speichern;
eine Multipliziereinrichtung, um das digitalisierte
Videosignal mit den Korrekturkoeffizienten zu multiplizieren
und um ein korrigiertes Videosignal auszugeben, in dem die
Weißschattierungsfehler minimiert sind.
3. Vorrichtung zur Korrektur von Weißschattierungen nach
Anspruch 2, wobei die Speichereinrichtung zum Speichern der
Korrekturkoeffizienten aufweist:
eine Horizontal-Korrekturspeichereinrichtung, um
Korrekturkoeffizienten zu speichern, die mittels der zweiten
Akkumulatoreinrichtung aus den vertikalen Spaltendaten erzeugt
werden, mit einem ersten Korrekturausgang, wobei die erste
Korrekturausgabe Horizontal-Korrekturkoeffizienten enthält,
die zu jedem Pixel des Videosignals gehören; und
eine Vertikal-Korrekturspeichereinrichtung, um
Korrekturkoeffizienten zu speichern, die mittels der ersten
Akkumulatoreinrichtung aus den horizontalen Linien erzeugt werden,
mit einem zweiten Korrekturausgang, wobei die zweite
Korrekturausgabe Vertikal-Korrekturkoeffizienten enthält, die zu
jedem Pixel des Videosignals gehören; und
eine Verknüpfungseinrichtung, um die zu einem bestimmten
Pixel des Videosignals gehörenden
Vertikal-Korrekturkoeffizienten und Horizontal-Korrekturkoeffizienten zu verknüpfen
und um synchron zu dem Zeitpunkt des Eintreffens dieses
bestimmten Pixels einen Pixel-Korrekturkoeffizienten zu der
Multipliziereinrichtung auszugeben.
4. Vorrichtung zur Korrektur von Weißschattierungen zum
Erfassen und Kompensieren von Weißschattierungsfehlern in einem
digitalisierten, von einer Videokamera erzeugten
Videosignal, das eine Folge horizontal abgetasteter Videobilder
wiedergibt, wobei jedes Bild eine Anzahl von Pixeln enthält
und wobei die Vorrichtung aufweist:
eine Prüfeinrichtung zum Überprüfen jedes Pixels in einem
digitalisierten Videosignal, das ein Videobild von einer
ebenen, weißen Kalibrierplatte wiedergibt; und
eine Korrektureinrichtung, um eine Anzahl von
Korrekturkoeffizienten auf jedes Pixel einer Folge von Videobildern
anzuwenden, die in dem Videosignal enthalten sind, das auf
den Korrekturkoeffizienten basiert, wodurch
Weißschattierungsfehler in den Videobildern korrigiert werden; und
dadurch gekennzeichnet, daß sie aufweist:
eine erste Akkumulatoreinrichtung, um Pixel-Amplituden in
jeder horizontalen Linie des horizontal abgetasteten
Videobildes zu addieren, mit einem ersten Ausgang, wobei die
erste Ausgabe der addierte Wert der Pixel-Amplituden von
jeder horizontalen Linie ist;
eine zweite Akkumulatoreinrichtung, um eine Anzahl von
horizontalen Linien zu überprüfen und um aus den
horizontalen Linien eine Anzahl vertikaler Spaltendaten zu erstellen,
die aus der Anzahl von Pixeln stammen, die in den
horizontalen Linien enthalten sind, mit einem zweiten Ausgang, wobei
die zweite Ausgabe der addierte Wert der erstellten
vertikalen Spaltendaten aus jeder Spalte ist, die in der Anzahl der
Pixel gefunden wird, die in den horizontalen Linien
enthalten sind; und
eine Verarbeitungseinrichtung, um die Anzahl der
Korrekturkoeffizienten für jedes der Pixel aus den addierten
Werten zu berechnen, die von der ersten und der zweiten
Akkumulatoreinrichtung ausgegeben werden, und um die Anzahl der
Korrekturkoeffizienten zu speichern, die einer Anzahl von
verschiedenen Videokamera-Zuständen entsprechen,
einschließlich der Iris-Einstellung und der Zoom-Position.
5. Verfahren zum Erfassen und Kompensieren von
Weißschattierungsfehlern in einem digitalisierten Videosignal, das eine
Folge horizontal abgetasteter Videobilder wiedergibt, von
denen jedes eine Anzahl von horizontalen Linien hat und jede
der horziontalen Linien mehrere Pixel enthält, wobei das
Verfahren folgende Schritte umfaßt:
Überprüfen der Anzahl von Pixeln, wobei die Pixel Teil
eines Videobildes sind und wobei das Bild eine ebene, weiße
Kalibrierplatte ist;
Berechnen von Weißpegel-Korrekturkoeffizienten für jedes
Pixel, das in dem Überprüfungsschritt überprüft wird; und
Korrigieren der Videobilder auf das Videobild, das die
ebene, weiße Kalibrierplatte wiedergibt, indem die in dem
vorhergehenden Schritt berechneten
Weißpegel-Korrekturkoeffizienten auf das digitalisierte Videosignal angewendet
werden, wodurch die darin enthaltenen
Weißschattierungsfehler kompensiert werden;
wobei das Verfahren gekennzeichnet ist durch: den
Zwischenschritt des Addierens der Pixel-Amplituden in jeder der
horizontalen Linien des Videobildes, wodurch eine erste
Ausgabe erzeugt wird und wobei die erste Ausgabe die addierten
Werte der Pixel-Amplituden von jeder horizontalen Linie ist;
Überprüfen einer Anzahl horizontaler Linien und Erstellen
aus den horizontalen Linien eine Anzahl vertikaler
Spaltendaten, die aus der Anzahl von horizontalen Linien stammen,
wodurch eine zweite Ausgabe erzeugt wird, wobei die zweite
Ausgabe der addierte Wert der erstellten vertikalen
Spaltendaten von jeder Spalte ist, die in der Anzahl der
horizontalen Linien gefunden wird, und Zuführen der addierten
Ausgabewerte, die von dem ersten und dem zweiten Ausgang
ausgegeben werden, zum Berechnungsschritt.
6. Verfahren nach Anspruch 5, wobei das Verfahren zum Berechnen
der Korrekturkoeffizienten, die aus den addierten Werten
berechnet werden, umfaßt:
Berechnen der Durchschnittsamplitude für jede horizontale
Linie in dem Bild;
Herausfinden des größten Durchschnittswertes für jede
horizontale Linie in dem Bild;
Berechnen eines Multiplikations-Faktors für jede
horizontale Linie, durch den der Durchschnittswert der Linie auf
den größten in dem Bild vorkommenden
Linien-Durchschnittswert gebracht wird;
Berechnen der Durchschnittsamplitude für alle
Spaltendaten in dem Bild;
Herausfinden des größten Durchschnittswertes für alle
Spaltendaten in dem Bild; und
Berechnen eines Multiplikations-Faktors für jede Spalte,
durch den der Durchschnittswert der Spalte auf den größten
in dem Bild vorkommenden Spalten-Durchschnittswert gebracht
wird.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US07/660,698 US5157497A (en) | 1991-02-25 | 1991-02-25 | Method and apparatus for detecting and compensating for white shading errors in a digitized video signal |
Publications (2)
Publication Number | Publication Date |
---|---|
DE69125139D1 DE69125139D1 (de) | 1997-04-17 |
DE69125139T2 true DE69125139T2 (de) | 1997-09-25 |
Family
ID=24650601
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE69125139T Expired - Fee Related DE69125139T2 (de) | 1991-02-25 | 1991-12-19 | Verfahren und Vorrichtung zur Korrektur von Weisschattierungen |
Country Status (4)
Country | Link |
---|---|
US (1) | US5157497A (de) |
EP (1) | EP0501075B1 (de) |
JP (1) | JPH04330872A (de) |
DE (1) | DE69125139T2 (de) |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5374996A (en) * | 1991-06-26 | 1994-12-20 | Matsushita Electric Industrial Co., Ltd. | Image processing system |
US5202762A (en) * | 1991-09-10 | 1993-04-13 | Ultimatte Corporation | Method and apparatus for applying correction to a signal used to modulate a background video signal to be combined with a foreground video signal |
JP3191354B2 (ja) * | 1991-11-15 | 2001-07-23 | ソニー株式会社 | シェーディング補正回路 |
US5303056A (en) * | 1992-09-14 | 1994-04-12 | Eastman Kodak Company | Dynamic gain correction for CRT printing |
KR100203239B1 (ko) * | 1995-02-16 | 1999-06-15 | 윤종용 | 화이트쉐이딩 보정방법 및 장치 |
JP3968533B2 (ja) * | 1996-04-17 | 2007-08-29 | 富士フイルム株式会社 | フイルム画像入力装置及び方法 |
US7453490B2 (en) * | 1997-01-31 | 2008-11-18 | Gyrus Acmi, Inc. | Correction of image signals characteristic of non-uniform images in an endoscopic imaging system |
US6100920A (en) * | 1997-01-31 | 2000-08-08 | Circon Corporation | Video signal compensator for compensating differential picture brightness of an optical image due to uneven illumination and method |
US6542185B1 (en) * | 1998-01-07 | 2003-04-01 | Intel Corporation | Method and apparatus for automated optimization of white and color balance on video camera |
US6178255B1 (en) | 1998-04-28 | 2001-01-23 | Cross Match Technologies, Inc. | Individualized fingerprint scanner |
US6744910B1 (en) * | 1999-06-25 | 2004-06-01 | Cross Match Technologies, Inc. | Hand-held fingerprint scanner with on-board image normalization data storage |
US6886104B1 (en) | 1999-06-25 | 2005-04-26 | Cross Match Technologies | Rechargeable mobile hand-held fingerprint scanner with a data and power communication interface |
JP3854754B2 (ja) * | 1999-06-30 | 2006-12-06 | キヤノン株式会社 | 撮像装置、画像処理装置及びその方法、並びにメモリ媒体 |
WO2002017221A1 (en) * | 2000-08-18 | 2002-02-28 | Cross Match Technologies, Inc. | Fingerprint scanner auto-capture system and method |
US6928195B2 (en) * | 2000-12-18 | 2005-08-09 | Cross Match Technologies, Inc. | Palm scanner using a programmable nutating mirror for increased resolution |
AU2002305229A1 (en) | 2001-04-26 | 2002-11-11 | Cross Match Technologies, Inc. | Silicone rubber surfaces for biometric print tir prisms |
US8675980B2 (en) * | 2001-07-12 | 2014-03-18 | Do Labs | Method and system for reducing update frequency of image-processing means |
US20030149343A1 (en) * | 2001-09-26 | 2003-08-07 | Cross Match Technologies, Inc. | Biometric based facility security |
US6954260B2 (en) * | 2002-01-17 | 2005-10-11 | Cross Match Technologies, Inc. | Systems and methods for illuminating a platen in a print scanner |
US6867850B2 (en) * | 2002-01-17 | 2005-03-15 | Cross Match Technologies, Inc. | Light wedge for illuminating a platen in a print scanner |
WO2003063054A2 (en) | 2002-01-17 | 2003-07-31 | Cross Match Technologies, Inc. | Fingerprint workstation and methods |
US7073711B2 (en) | 2002-04-19 | 2006-07-11 | Cross Match Technologies, Inc. | Mobile handheld code reader and print scanner system and method |
US7079007B2 (en) | 2002-04-19 | 2006-07-18 | Cross Match Technologies, Inc. | Systems and methods utilizing biometric data |
US6944768B2 (en) * | 2002-04-19 | 2005-09-13 | Cross Match Technologies, Inc. | System and methods for access control utilizing two factors to control access |
US6996259B2 (en) * | 2002-08-02 | 2006-02-07 | Cross Match Technologies, Inc. | System and method for counting ridges in a captured print image |
US7164440B2 (en) | 2003-02-28 | 2007-01-16 | Cross Match Technologies, Inc. | Dynamic image adaptation method for adjusting the quality of digital prints |
US7277562B2 (en) | 2003-08-01 | 2007-10-02 | Cross Match Technologies, Inc. | Biometric imaging capture system and method |
US7236304B2 (en) * | 2003-11-04 | 2007-06-26 | Matsushita Electric Industrial Co., Ltd. | Imaging Device |
JP4229053B2 (ja) * | 2004-12-06 | 2009-02-25 | ソニー株式会社 | 撮像装置、撮像方法及び撮像処理のためのプログラム |
US7634152B2 (en) * | 2005-03-07 | 2009-12-15 | Hewlett-Packard Development Company, L.P. | System and method for correcting image vignetting |
DE102006031757A1 (de) | 2006-01-04 | 2007-08-02 | Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg | Verfahren zur automatischen Korrektur von Bildfehlern in Video-Assist-Bildern eines Video-Assist-Systems |
DE102006003596A1 (de) * | 2006-01-25 | 2007-07-26 | Sick Ag | Verfahren und Vorrichtung zur Korrektur der Helligkeit eines durch eine Sensormatrix erzeugten Rohbilds |
US20080137985A1 (en) * | 2006-12-08 | 2008-06-12 | Alexander Mokhnatyuk | Method, apparatus and system providing column shading correction for image sensor arrays |
KR100911378B1 (ko) * | 2007-02-23 | 2009-08-10 | 삼성전자주식회사 | 렌즈 교정 방법 및 렌즈 교정 장치 |
US8463068B2 (en) * | 2007-08-09 | 2013-06-11 | Micron Technology, Inc. | Methods, systems and apparatuses for pixel value correction using multiple vertical and/or horizontal correction curves |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4285004A (en) * | 1980-02-25 | 1981-08-18 | Ampex Corporation | Total raster error correction apparatus and method for the automatic set up of television cameras and the like |
US4326219A (en) * | 1980-04-11 | 1982-04-20 | Ampex Corporation | Digital error measuring circuit for shading and registration errors in television cameras |
US4312014A (en) * | 1980-04-11 | 1982-01-19 | Ampex Corporation | Input video processor for color television cameras |
US4354243A (en) * | 1980-04-11 | 1982-10-12 | Ampex Corporation | Two dimensional interpolation circuit for spatial and shading error corrector systems |
US4486781A (en) * | 1982-04-19 | 1984-12-04 | Xerox Corporation | Video signal white level corrector |
JPS5916464A (ja) * | 1982-07-20 | 1984-01-27 | Fuji Xerox Co Ltd | シエ−デイング補正装置 |
JPS59125176A (ja) * | 1982-12-30 | 1984-07-19 | インタ−ナシヨナル ビジネス マシ−ンズ コ−ポレ−シヨン | ビデオイメ−ジのシエ−ジング効果の補正装置 |
DE3527301A1 (de) * | 1984-07-31 | 1986-02-13 | Canon K.K., Tokio/Tokyo | Bildleseeinrichtung |
JP2542578B2 (ja) * | 1986-03-25 | 1996-10-09 | 株式会社東芝 | シエ−デイング補正信号発生回路 |
US4698685A (en) | 1986-05-28 | 1987-10-06 | Rca Corporation | Apparatus and method for correcting CCD pixel nonuniformities |
US4945405A (en) * | 1987-05-21 | 1990-07-31 | Minolta Camera Kabushiki Kaisha | Color image read apparatus with shading and color balance correction |
JPH01186064A (ja) * | 1988-01-20 | 1989-07-25 | Sanyo Electric Co Ltd | シェーディング補正回路 |
JPH01273484A (ja) * | 1988-04-26 | 1989-11-01 | Matsushita Electric Ind Co Ltd | シェーディング補正装置 |
JPH0287783A (ja) * | 1988-09-26 | 1990-03-28 | Hitachi Ltd | シェーデイング補正回路 |
US4962425A (en) * | 1988-10-27 | 1990-10-09 | National Research Council Of Canada/Conseil National Deresherches Canada | Photometric device |
JPH0313074A (ja) * | 1989-06-09 | 1991-01-22 | Canon Inc | 画像処理システム |
JPH0341876A (ja) * | 1989-07-07 | 1991-02-22 | Fuji Photo Film Co Ltd | 画像信号補正方法 |
US5047861A (en) * | 1990-07-31 | 1991-09-10 | Eastman Kodak Company | Method and apparatus for pixel non-uniformity correction |
-
1991
- 1991-02-25 US US07/660,698 patent/US5157497A/en not_active Expired - Lifetime
- 1991-12-19 EP EP91311821A patent/EP0501075B1/de not_active Expired - Lifetime
- 1991-12-19 DE DE69125139T patent/DE69125139T2/de not_active Expired - Fee Related
-
1992
- 1992-02-24 JP JP4036186A patent/JPH04330872A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
EP0501075A3 (en) | 1993-06-30 |
JPH04330872A (ja) | 1992-11-18 |
US5157497A (en) | 1992-10-20 |
EP0501075A2 (de) | 1992-09-02 |
DE69125139D1 (de) | 1997-04-17 |
EP0501075B1 (de) | 1997-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE69125139T2 (de) | Verfahren und Vorrichtung zur Korrektur von Weisschattierungen | |
DE69836540T2 (de) | Verfahren und vorrichtung zur ausführung von bildverbesserungen | |
DE69509141T2 (de) | Verfahren und digitale Schaltung zum Aufheben des Zeilensprungverfahrens während der Darstellung von Videobildern | |
DE69321013T2 (de) | Bildgebendes System mit Mitteln zur Kompensation von Vignettierung und ein solches bildgebendes System enthaltende Röntgenuntersuchungseinrichtung | |
DE3910035C3 (de) | Farbbildabtasteinrichtung | |
DE69333846T2 (de) | Verfahren zur mischung von bildern und vorrichtung hierzu. | |
DE69526635T2 (de) | Bilderzeugungsgerät und Verfahren zur Verbesserung geometrischer optischer Bildverzerrungen | |
DE69111865T2 (de) | Verfahren und Vorrichtung zur Wiederherstellung von Bildern, Erkennung und Kompensation von Fehlsensoren. | |
DE69010411T2 (de) | Szenenabhängige kompensation inhomogen verteilter detektorempfindlichkeit einer bilddetektormatrix. | |
DE69228921T2 (de) | Verfahren und programmierbares Gerät zur Bestimmung des Hintergrundpegels eines Dokuments | |
DE3687877T2 (de) | Kamera und verfahren zur bilderzeugung. | |
DE69909635T2 (de) | Gerät und verfahren zur elektronischen bildverbesserung | |
DE3686862T2 (de) | Bildverarbeitungsverfahren. | |
DE69014354T2 (de) | Verfahren und Anordnung zur Bearbeitung der Röntgenstrahlabbildung im Röntgenstrahlgerät. | |
DE69523043T2 (de) | Zusammenstellung eines bildes aus teilbildern | |
EP0029569B1 (de) | Verfahren und Gerät zur Korrektur der räumlichen Verzerrung einer Szintillationskamera | |
DE69125869T2 (de) | Gradationskorrekturvorrichtung | |
DE69027636T2 (de) | Bildverarbeitungsvorrichtung | |
DE3629462C2 (de) | Verfahren und Vorrichtung zur elektronischen Bildverarbeitung mit Zwischenspeicherung | |
EP1064793B1 (de) | Verfahren zur bildanalyse und korrektur von videosignalwerten | |
EP0625762B1 (de) | Verfahren zum Entzerren von Röntgenaufnahmen und Anordnung zur Durchführung des Verfahrens | |
DE69927239T2 (de) | System und verfahren zur verarbeitung von bildern | |
DE2011470A1 (de) | Verfahren zum Auswerten eines nach einem Rasterverfahren aufgenommenen Bildes | |
DE69416389T2 (de) | Digitale Schaltung für automatische Korrektur der Schwarzschattierungseffekte in Kameras | |
DE19536691B4 (de) | Verfahren und Anordnung zur Korrektur von Bildstandsfehlern bei der fernsehmäßigen Filmabtastung |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8364 | No opposition during term of opposition | ||
8339 | Ceased/non-payment of the annual fee |