DE69120499T2

DE69120499T2 - Bildverbesserung in Videosichtgeräten

Info

Publication number: DE69120499T2
Application number: DE69120499T
Authority: DE
Inventors: Albert Durr Austin Texas 78727 Edgar
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1990-11-01
Filing date: 1991-08-29
Publication date: 1997-01-23
Anticipated expiration: 2011-08-30
Also published as: JP2946871B2; SK42793A3; IL99743A0; EP0483957A1; PL167349B1; SG43723A1; JPH0738834A; IL99743A; CZ78893A3; US5191413A; IE913805A1; EP0483957B1; CZ284194B6; HU223699B1; IE75906B1; HUT64663A; DE69120499D1; WO1992008316A1; RU2113770C1; HU9301264D0

Description

Diese Erfindung betrifft allgemein Bildanzeigesysteme und insbesondere rechnergesteuerte Systeme zur Verbesserung digitalisierter Videobilder.
In der digitalen Videotechnik gibt es schon seit langem Systeme zur Aufzeichnung oder Digitalisierung von analogen Standbildern in verschiedenen Formaten wie beispielsweise kombinierten Videosignalen oder RGB. Das Bild kann während des Empfangs vollständig digitalisiert werden, oder der Aufzeichnungsprozeß kann über die Zeit verteilt werden und kann Komponenten enthalten, die aus mehreren Videodatenrahmen gewonnen werden.
Ein Nachteil des verteilten Ansatzes ist der, daß das Ziel während der Aufzeichnung relativ unbeweglich bleiben muß, um verschwommene Bilder zu vermeiden. Jedoch gibt es selbst bei der Live-Aufzeichnung eines relativ unbewegten Bildes ein Problem, wenn die Quelle ein Videosignal mit Zeilensprung ist. Beim Video mit Zeilensprung, das in der Videotechnik gebräuchlich ist, ist ein einzelnes Bild oder Vollbild eigentlich aus zwei Bildern zusammengesetzt, die typischerweise im Abstand von einem Sechzigstel einer Sekunde aufgenommen werden. Das erste Bild enthält geradzahlige Rasterzeilen, und das zweite Bild enthält ungeradzahlige Rasterzeilen, die nach der Ahzeige des ersten Bildes zwischen die geraden Rasterzeilen geschoben werden. Ein Beispiel dieser Zeilensprungform der Abtastung läßt sich in herkömmlichen Fernsehrundfunk-Rasterscanbildern finden.
Wie oben erwähnt wurde, tritt bei einem bewegten Ziel, das der Aufzeichnungskamera präsentiert wird, in der diese beiden zeitlich nebeneinanderliegenden Halbbilder aufgezeichnet werden, ein Problem auf - selbst wenn die sequentielle Aufzeichnung im Abstand von einem Sechzigstel einer Sekunde erfolgt. Nehmen wir ein praktisches Beispiel: Wenn ein Subjekt während der Aufzeichnung eine Hand bewegen sollte, werden sequentielle Halbbilder erzeugt, welche die Hand in zwei ganz verschiedenen Positionen erfassen. Jedoch erfordert der Betrieb von typischen Systemen mit Zeilensprung, daß die beiden Halbbilder auf dem Bildschirm im Wechsel fortlaufend wiederholt werden. Das Ergebnis davon kann sein, daß die Hand so erscheint, als mache Sie eine zitternde oder bebende Bewegung mit einer Frequenz von 30 Mal pro Sekunde, was äußerst unerwünschte Bilder entstehen läßt.
In dem Bemühen, dieses Problem zu vermeiden, wurden Systeme entwickelt, die alle Rasterzeilen in Verbindung mit einem der wechselnden Halbbilder löschten. Das offensichtliche, unerwünschte Ergebnis davon war natürlich eine beträchtlich verminderte Auflösung des Bildes, ein Beispiel dafür läßt sich jederzeit bei Videokassettenrecordern für den Unterhaltungsbereich sehen. Die meisten solcher Videobandgeräte enthalten einen Standbild-Modus. Aufgrund von mechanischen Einschränkungen bei den Videoköpfen und dergleichen zeigt dieser Modus ein einziges Halböild mit 240 Rasterzeilen an, was nur die Hälfte des Vollbildes mit 480 Rasterzeilen ist, die beim Konsumvideo üblich sind. Dies wird vom Auge als eine erhebliche Minderung der Bildqualität gegenüber dem Bild mit der vollen Auflösung auf dem Videoband vor der Wiedergabe des Festbildes wahrgenommen.
Es ist dementsprechend eine Aufgabe dieser Erfindung, ein Videobild-Anzeigesystem bereitzustellen, das ein unerwünschtes Flackern des Bildes durch sich bewegende Komponenten verringert, während ein beträchtlicher Teil der Auflösung des ganzen Bildes erhalten bleibt.
Ein Verfahren zum Betreiben eines Videosichtgeräts ist bekannt, in dem Bilder sequentiell in einer Vielzahl von Zeilensprung- Halbbildern gezeigt werden, wobei jedes Halbbild aus einer Matrix von Pixeln besteht, die zusammen ein Bild darstellen, und das Verfahren die folgenden Schritte umfaßt: Feststellen von Zwischenhalbbild-Unterschieden zwischen der Vielzahl der Halbbilder durch Erzeugen eines Maßes für ein hochfrequentes Zwischenhalbbild-Detail zwischen der Vielzahl der Halbbilder, das von einer Vielzahl von vertikal ausgerichteten, benachbarten Pixeln innerhalb von einzelnen der Halbbilder abgeleitet wird; Erzeugen eines Maßes für ein halbbildinternes Detail als Funktion einer Vielzahl von vertikal ausgerichteten, benachbarten Pixeln in den Halbbildern; Vergleichen der Unterschiede zwischen den Halbbildern mit halbbildinternen Unterschieden, um Pixel festzustellen, die Bewegungen in dem Bild entsprechen; und Ersetzen der Pixelwerte der festgestellten Pixel durch Werte, die funktional mit den Pixelwerten im selben Bildbereich eines anderen der Halbbilder verbunden sind. Siehe US-A-4845557.
Diese Erfindung stellt ein Verfahren zum Betreiben eines Videosichtgerätes bereit, in dem Bilder sequentiell in mindestens ersten und zweiten Zeilensprung-Halbbildern gezeigt werden, wobei jedes Halbbild aus einer Matrix von Pixeln besteht, die zusammen ein Bild darstellen, und das Verfahren die folgenden Schritte umfaßt: Erzeugen eines Maßes (H) für ein hochfrequentes Zwischenhalbbild-Detail zwischen den ersten und den zweiten Halbbildern, indem gewichtete Pixelwerte aller Pixel in dem ersten Zeilensprung-Halbbild von gewichteten Pixelwerten aller Pixel in dem zweiten Zeilensprung-Halbbild innerhalb eines ausgewählten Bereichs, der eine vorher festgelegte Anzahl von Zeilen und eine vorher festgelegte Anzahl von Spalten um ein interessierendes Pixel innerhalb des Bildes enthält, abgezogen werden, wobei die vorher festgelegte Anzahl von Spalten mindestens zwei beträgt; Erzeugen eines Maßes (T) für ein halbbildinternes Detail auf der Grundlage von halbbildinternen Unterschieden zwischen den Pixelwerten der ungeraden und der geraden Zeilen des ersten Zeilensprung-Halbbildes innerhalb des ausgewählten Bereichs und auf der Grundlage von halbbildinternen Unterschieden zwischen den ungeraden und den geraden Zeilen des zweiten Zeilensprung-Halbbildes innerhalb des ausgewählten Bereichs; Feststellen, ob das Zwischenhalbbild-Maß geteilt durch das halbbildinterne Maß innerhalb eines vorher festgelegten Bereichs liegt und, wenn ja, Ersetzen des Pixelwertes des interessierenden Pixels durch einen Pixelwert, der funktional mit Pixelwerten von Pixeln verbunden ist, die in dem ausgewählten Bereich, aber in einem anderen Halbbild liegen.
In einem bevorzugten System und Verfahren werden digitalisierte Videobilder von erfaßten analogen Videodaten aus einem Zeilensprung-Originalbild gewonnen. Zuerst wird ein Standbild von einer zeilensprung-Videoquelle aufgezeichnet oder digitalisiert, wobei ein beliebiges einer Vielzahl von im Handel erhältlichen Video-Digitalisierungssystemen verwendet werden kann. In einer bevorzugten Ausführungsform schließt diese Aufzeichnung ein erstes und ein zweites sequentielles Halbbild ein, die ein komplettes Vollbild umfassen. Diese Halbbilder werden dann digital verarbeitet, um Bereiche festzustellen, die durch eine relative Bewegung des Ziels verfälscht sind. In diesen Bildelementbereichen, in denen eine solche Bewegung festgestellt wird, werden in einem Halbbild Pixelwerte auf der Grundlage von Schätzwerten ersetzt, die von Bildelementen in dem restlichen Halbbild abgeleitet werden.
Um zuerst die Bereiche mit flackernden Bewegungen festzustellen, werden in der bevorzugten Ausführungsform Unterschiede zwischen den Halbbildern, die sich vertikal und zusammenhängend über mehrere Bildelemente erstrecken und auch größer sind als ein halbbildinternes Detail in diesem Bereich, von einem Digitalprozessor gesucht. In den Bereichen, in denen Bewegungen festgestellt werden, enthält nur ein Halbbild, das hier als das erste oder gerade Halbbild bezeichnet wird, Bildelemente, die gegenüber ihrem ursprünglichen Aufzeichnungszustand unverändert sind. Was das verbleibende zweite oder ungerade Halbbild betrifft, ändert ein Operator jedes der Bildelemente in diesem ungeraden Halbbild entsprechend der Erfindung ab.
Damit die Erfindung gut verstanden werden kann, wird nun die bevorzugte Ausführungsform der Erfindung mit Bezug auf die Begleitzeichnungen beschrieben, in denen die Figuren 1 und 2 ein repräsentatives System für die Aufzeichnung, die Digitalisierung, die Verarbeitung und die Anzeige eines Videobildes zeigen; Fig. 3 zeigt eine Schemadarstellung eines Teils von Bildelementen, aus denen ein aufgezeichnetes Bild besteht; Fig. 4 ist ein Flußdiagramm, das die erfindungsgemäße Verarbeitung von Bildelementen zeigt.
Zuerst wird eine anspruchsvolle Beschreibung eines reprasentativen Systems zur Aufzeichnung, Digitalisierung, Verarbeitung und Anzeige eines Videobildes mit Bezug auf die Figuren 1 und 2 gegeben. Darauffolgt eine ausführliche Beschreibung des Systems und des Verfahrens der Erfindung, die in dem System von Fig. 1 und Fig. 2 eingesetzt werden, um mit den erfaßten und in dem System gespeicherten Videodaten in Wechselwirkung zu treten, um die erwünschte Beseitigung des Nebeneffektes der Zeilensprungbewegung vorzunehmen. Ein solches System, das auf die in den Figuren 1 und 2 gezeigte Weise eingesetzt werden kann, ist das von der IBM Corporation, Armonk, New York, hergestellte Audio- Visual-Connection- oder AVC-System, das sowohl die für die vorstehend erwähnte Aufzeichnung, Verarbeitung und Anzeige von Videodaten notwendige Hardware als auch die notwendige Software enthält. Unterstützende Dokumentation für ein solches System findet sich in den folgenden Veröffentlichungen, die durch Bezugnahme ein Bestandteil hiervon sind: IBM Audio Visual Connection User's Guide und Video Capture Adapter Installation and Technical Reference Manual.
Nun Bezug nehmend auf die Figuren und insbesondere Bezug nehmend auf Fig. 1, ist darin ein digitales Datenverarbeitungssystem 10 in der Form eines Blockdiagramms gezeigt, das entsprechend dem System und dem Verfahren der vorliegenden Erfindung eingesetzt werden kann. Wie zu sehen ist, kann das System 10 vorzugsweise die Form eines digitalen Personal-Computers annehmen und enthält eine Tastatur 6, um eine Benutzereingabe zu ermöglichen, die mit einer Zentraleinheit oder einem Host-PC 4 auf eine in der Technik bekannte Art und Weise verbunden ist. Im Host 4 sind Speichereinheiten enthalten, die sowohl flüchtige als auch nichtflüchtige Speichereinheiten umfassen und Zusatzspeichereinheiten wie beispielsweise eine Magnetplatte oder einen Bandspeicher enthalten können.
Der Host 4 ist auch mit einem oder mehr Bildschirmtreibern (nicht gezeigt) verbunden, die in einer in der Technik bekannten Art und Weise benutzt werden, um eine visuelle Darstellung von Videobildern zu ermöglichen, indem entsprechende Steuer- und Datensignale vom Host 4 mit dem Bildschirm 5 und einem oder mehr Monitoren 7 gekoppelt werden. Der Fachmann versteht, daß der Bildschirm 5 und der Monitor 7 aus vielen verschiedenen Einheiten wie beispielsweise jenen, die für den Empfang von analogem Video in verschiedenen Formaten wie zum Beispiel RGB, Y/C, NTSC, PAL und dergleichen angepaßt sind, bestehen können.
In dem in Fig. 1 gezeigten System 10 ist des weiteren eine Videokamera 3 enthalten, die eine analoge Videoleitung 32 zum Host 4 hat. Die Kamera 3 ist als auf ein Objekt 2 eingestellt gezeigt, das vom System 10 zu digitalisierende Eildinformationen hat. Obwohl das Objekt 2 der Einfachheit halber als unbeweglich gezeigt ist, wird man verstehen, daß dieses Objekt vorzugsweise die Form eines sich bewegenden Gegenstands wie beispielsweise eines Menschen, eines Autos oder dergleichen annehmen kann, um den maximalen Nutzen aus der Erfindung zu ziehen.
Das Bild dieses Objekts läßt, nachdem es aufgezeichnet ist, den verschwommenen Effekt entstehen, der von der Erfindung angegangen wird. Auf eine Art und Weise, die nachstehend beschrieben wird, setzt die Kamera 1 die Bildinformationen des Objekts 2 in analoge elektronische Signale um, die auf der Leitung 32 an den Host 4 übertragen werden, in dem Sie anschließend digitalisiert, verarbeitet und in Analogform zurückverwandelt werden, um auf der analogen Ausgangsleitung 34 ausgegeben zu werden, woraufhin Sie auf einem oder mehr Monitoren 7 angezeigt werden. Das System 10 kann natürlich andere Komponenten enthalten, und was den allgemeinen digitalen Rechner und die Bildschirmteile betrifft, kann das System vorzugsweise durch einen PS/2-Rechner, IBM-Modellnummer 80, implementiert sein, der von der International Business Machines Corporation, Armonk, New York, hergestellt wird.
Der Host 4, wie in Personal-Computern üblich, enthält ein Bussystem, das die Daten-, Steuerungs- und Adreßein-/ausgabe an verschiedene Komponenten des Systems auf eine in der Technik bekannte Art und Weise vereinfacht. Insbesondere was den oben erwähnten Host 4, Modell 80, betrifft, wird ein herstellerspezifisches Micro-Channel-Bussystem ("Micro Channel" ist ein Warenzeichen der International Business Machines Corporation) eingesetzt, das in einer bevorzugten Ausführungsform des Systems 10 gewünscht ist. Jedoch ist die Erfindung nicht als auf eine bestimmte Busstruktur beschränkt gedacht und zieht auch den Einsatz mit anderen Busstrukturen in Betracht. Ausführlichere Informationen in bezug auf die Busstruktur und den Betrieb dieses Micro Channel erhält man mit Bezug auf die technischen Handbücher, die dem Rechnermodell 80 beigefügt sind, der durch Bezug nahme ein Bestandteil hiervon ist.
Obwohl die analogen Videoeingangssignale auf der Leitung 32 als von der Kamera 3 ausgehend gezeigt sind, wird man, ebenfalls was das in Fig. 1 gezeigte System 10 anbetrifft, ohne weiteres verstehen, daß ein solches analoges Videoquellenmaterial von einer Anzahl anderer Quellen wie beispielsweise des vertrauten VCR oder VTR (Videobandrecorders) oder dergleichen erzeugt werden kann, und dementsprechend ist die Erfindung nicht als auf den Einsatz mit irgendeiner bestimmten Quelle zur Erzeugung solcher Analogsignale beschränkt gedacht. Wie in der Technik bekannt ist, können diese Quellen analoger Videosignale eine Anzahl von Formaten haben, wie zum Beispiel das vorstehend erwähnte RGB, Y/C, das Format mit kombinierten Videosignalen, ein digitales Format oder andere Formate. Obwohl nur eine Quelle von solch formatierten Videomformationen in Fig. 1 gezeigt ist, ist von der Erfindung bekannt, daß Sie für eine Vielzahl von Mehrformat- Quellen zur anschließenden Digitalisierung ihrer entsprechenden Videobilder oder -daten, deren Verarbeitung in Host 4 und anschließende Rückverwandlung in analoge Videosignale zur gleichzeitigen Anzeige auf einem oder mehr Anzeigeeinheiten ausgelegt ist. Ein Rechnermonitor 5 ist in Fig. 1 gezeigt, der herkömmlicherweise einen Teil eines allgemeinen Personal-Computersystems einschließlich des Hosts 4 umfaßt und für übliche Zwecke der Ein-/Ausgabe mit dem Host 4 verwendet wird. Wie vorstehend erwähnt wurde, ist darüber hinaus jedoch ein Monitor 7 zur Ahzeige dieser zurückverwandelten analogen Videosignale enthalten.
Nochmals kurz auf die Busstrukturen in Verbindung mit dem Personal-Computersystem 10 Bezug nehmend, sei erwähnt, daß es üblich ist, in den verschiedenen vorhandenen Hosts 4 eine Vielzahl von Adapterkarten oder Erweiterungssteckplätzen vorzusehen. Diese Steckplätze haben den Zweck, einem Benutzer die individuelle Konfiguration eines Systems zur Ausführung gewünschter Funktionen zu ermöglichen. Eine Adapterkarte in einem der Steckplätze trägt Stecker, um Rohdaten einer analogen Videoquelle in mehreren Formaten zu empfangen, und die Multiplex-/Steuerungs- Hardware und dergleichen auf der Karte, die durch den Anschluß an den oben erwähnten Bus vom Rechner gesteuert wird, wählt eines dieser Signale zur Digitalisierung aus. Diese Adapterkarte enthält desweiteren die Analog-Digital-Schaltung, die zur Digitalisierung dieses vorausgewählten Signals notwendig ist. Aufgrund der Verbindung der Adapterkarte mit dem Bus wird man ohne weiteres verstehen, daß ein Merkmal der Erfindung ist, die Verarbeitung und die Editierung dieses dabei digitalisierten Bildes unter der Steuerung des Hosts 4 durch den Bus zu ermöglichen, um Bewegungs-Nebeneffekte auf eine nachstehend beschriebene Art und Weise zu beseitigen. Die Adapterkarte hat darüber hinaus die Funktion, die verarbeiteten/editierten, digitalisierten Videoinformationen dann in Analogform zurückzuverwandeln, wobei diese Funktion durch die Bereitstellung einer geeigneten Digital- Analog-Umsetzungsschaltung auch auf der Karte ausgeführt wird.
Was die bevorzugte Ausführungsform angeht, die nachstehend ausführlicher beschrieben wird, ist schließlich eine Codierschaltung auf der Adapterkarte bereitgestellt, wodurch die digitalisierten Videosignale, wenn sie in Analogform zurückverwandelt werden, in mehrere Formate umgewandelt werden. Mehrere Stecker sind auf der Karte vorgesehen, von denen jeder ein anderes dieser zurückverwandelten digitalisierten Signale in einem anderen der herkömmlichen analogen Videoformate überträgt. Indem ein Monitor mit einem jeden solchen Stecker verbunden wird, der für den Empfang des besonderen Signalformats dieses Steckers angepaßt ist, ergibt sich auf diese Weise die gleichzeitige Anzeige des Videobildes in mehreren Formaten. Es wird festgestellt werden, daß diese Rückumwandlung ebenfalls vom Rechner 4 gesteuert wird, wenn als die Adapterkarte und die zugehörige Codierschal- tung in den Schnittstellenbus des Rechners 4 gesteckt wird.
Nun Bezug nehmend auf Fig. 2, ist ein ausführlicheres Funktionsblockdiagramm des Systems 10 von Fig. 1 veranschaulicht, das nun beschrieben wird.
Wie bei der Leitung 32 gezeigt ist, werden analoge Videoeingangssignale in vielen verschiedenen Formaten vom Videoadapter 16 der Erfindung empfangen. Der Videoadapter 16 ist mit dem Hostsystem 12 über den Videogerätetreiber 18 verbunden, der den Status von dem Adapter auf den Leitungen 36 empfängt und Befehle und Daten auf der Leitung 38 an Register des Adapters 16 sendet. Der Bus des Systems 10 ist grafisch teilweise durch ein Ausgangssignal auf der Leitung 26 dargestellt, das vom Adapter 16 in die Bildpuffer 28 im Hostprozessor 12 läuft. Eine weitere Funktion dieses Busses ist durch die Leitung 30 veranschaulicht, die anzeigt, daß in diesem Bildpuffer 28 gespeicherte Informationen in den Speicher des Hosts, wie beispielsweise eine PC- Festplatte 22, geladen werden können. Vom Speicher 22 können Daten über den Bus, wieder durch eine Leitung, 24, dargestellt, von der Platte empfangen und zurück in den Puffer 28 des Hosts 12 gestellt werden. Aus diesen Puffern 28 können Daten auch gelesen und dann über die Host-Busverbindung auf der Leitung 32 zurück an den Adapter 16 gesendet werden, um Videodaten in den Bildspeicher des Adapters 16 zu laden.
Ein Videogerätetreiber 18 hat eine Videoanwendungsprogrammierungs-Schnittstelle 20, die sich, wie durch die Leitung 15 gezeigt ist, direkt mit der Videoaufzeichnungs- und Editierfunktion 14 des Hostsystems 10 verbinden läßt. Die Anwendungsprogrammierungsschnittstelle 20 stellt Mikrobefehle für den Videoaufzeichnungs- und Editierprozeß bereit, die schließlich über die Gerätetreiberbox 18 dem Videoadapter 16 übergeben werden. Als Folge der Ausführung des Videoaufzeichnungs- und Editierprogramms 14 werden über die Leitungen 40 Befehle an den Systemprozessor des Hosts 12 gesendet und über die Leitungen 42 Statusinformationen von ihm empfangen. Dies führt dazu, daß ein Bild auf dem Bildschirm von einem oder mehr Monitoren 7, Fig. 1, angezeigt wird. Der Bildschirm 17 des Hosts 12 bleibt im allgemeinen der Anzeige von Nicht-Quellenmaterial, d.h. den herkömmlicheren E/A-Daten in Verbindung mit Personal-Computersystemen, vorbehalten. Solche Daten schließen die Bedienereingabe von der Tastatur 6 und Benutzerschnittstelleninformationen vom Host 12 zur Bedienung der Aufzeichnungsund Anzeigefunktionen der Erfindung ein. Das angezeigte Bild kann ein Bewegtbild oder ein zusammengesetztes Bild sein, das Bilder enthält, die von der Funktion gesteuert werden, die von der Videoaufzeichnungs- und Editierfunktion 14 ausgewählt wird, und die Anwendüngsprogrammierungsschnittstelle 20 wird über Mikrobefehle gesteuert, die dann wiederum in einzelne separate Befehle und Statusanfragen über die Leitungen 36 und 38 umgewandelt werden. Wie vorstehend zu verstehen gegeben wurde, werden alle Funktionen, die durch die Leitungen 32, 30, 24 und 26 angezeigt werden, eigentlich über den Bus des Systems 10 selbst ausgeführt und stellen generell die E/A-Platte 22 und die E/A-Adapterkarte 16 dar.
Aus dem oben Erwähnten ist klar, daß, sobald das Bild in Form von digitalisierten Darstellungen von Bildelementen verschiedener Vollbilder aus Videodaten mittels des in Fig. 1 und Fig. 2 gezeigten Systems aufgezeichnet worden ist, Software für den Hostprozessor 12 bereitgestellt werden kann, um solche Daten auf jede gewünschte Art und Weise zu bearbeiten. Es ist natürlich ein Merkmal der Erfindung, für einen solchen computergestützten Prozeß zu sorgen, um an diesen digitalisierten Daten Operationen in der gewünschten Art und Weise entsprechend der Erfindung auszuführen. Somit kann ein Bildverarbeitungs-Anwendungsprogramm der Erfindung zur Anbindung an die Videoanwendungsprogrammierungs-Schnittstelle 20 bereitgestellt werden, um die gewünschte Bearbeitung und Umwandlung dieser digitalen Darstellungen der Bildelemente durchzuführen, die auf der PC-Platte 22 und in den Puffern 28 gespeichert sind. Diese geänderten Darstellungen werden dann auf die PC-Platte 22 zurückgespeichert oder durch den Videoadapter 16 als Analogsignal 34 zur Anzeige eines verbesserten Bildes ausgegeben, bei dem somit die Nebeneffekte der Zeilensprungbewegung durch die Interaktion der Verarbeitungssoftware mit dem System 10 beseitigt wurden.
Jetzt, da eine Beschreibung eines Aufzeichnungssystems gegeben wurde, folgt mit Bezug auf die Figuren 3 und 4 eine ausführliche Beschreibung der Verarbeitung dieser digitalen Darstellungen von Aufzeichnungs-Bildpunkten durch die Verarbeitungsanwendung 49 gemäß der Erfindung.
Man wird sich erinnern, daß das erfindungsgemäße System und Verfahren den größten Teil der Auflösung eines vollständigen Zeilensprungbildes erhält, während das Flackern des Bildes durch sich schnell bewegende Komponenten beseitigt wird. In einer bevorzugten Ausführungsform wird dies in zwei Schritten durchgeführt. Der erste Schritt stellt jene Bildbereiche fest, die flackern oder zittern, d.h. eine unerwünschte Rauschbewegung zeigen, und der zweite Schritt löscht das zweite Halbbild nur in diesen festgestellten Bereichen, wobei Bildelemente in diesen Bereichen durch einen Schätzwert auf der Grundlage des anderen Halbbildes ersetzt werden. Der Auflösungsverlust wird somit auf kleine Bereiche begrenzt, die aufgrund schneller Bewegungen ohnehin nicht klar definiert waren.
Dementsprechend wird man im ersten Schritt, in dem flackernde Bereiche ermittelt werden, bemerken, daß solche Bereiche, die aufgrund von Bewegungen flackern, eindeutige Eigenschaften haben, die sie dem Auge des Betrachters kenntlich machen und auch vom Datenverarbeitungssystem 10 erkannt werden können. In einem flackernden Bereich gibt es einen großen Unterschied in der niedrigen Ortsfrequenz zwischen den beiden Halbbildern. Dieser Unterschied erstreckt sich über eine Reihe von Bildelementen, ohne das Vorzeichen zu ändern.
Der Nebeneffekt, der am leichtesten mit Flackern verwechselt wird, ist ein erwünschtes Detail mit hoher Ortsfrequenz. Obwohl dieses Detail einen großen Unterschied zwischen den beiden Halbbildern erzeugen kann, ist der Unterschied zwischen den Halbbildern sehr selten eine niedrige Ortsfrequenz, das heißt, das Vorzeichen und die Größe dieses Unterschieds zwischen den Halbbildern ändern sich schnell, insbesondere in vertikaler Richtung. Auch ist das Detail mit den höchsten Ortsfrequenzen fast immer von einem Detail mit niedrigeren Ortsfrequenzen begleitet. Das Detail mit der höheren Ortsfrequenz eines einzelnen Halbbildes liegt bei der Hälfte der höchsten Frequenz des Vollbildes, und da es von einem einzelnen Halbbild kommt, ist es nicht durch Flackern verfälscht. Daher stellt dieses Detail innerhalb eines Halbbildes einen Schwellenwert bereit, unter dem ein Unterschied zwischen den Halbbildern wahrscheinlich ein Detail zwischen den Halbbildern ist. Zur Feststellung von flackernden Bewegungen ist es dementsprechend ein Merkmal der Erfindung, die digitalisierten Darstellungen der erfaßten Bildelemente auf Unterschiede zwischen Halbbildern zu prüfen, die sich vertikal und zusammenhängend über mehrere Bildelemente erstrecken (d.h., bei denen die Unterschiede zwischen den Halbbildern eine niedrige Ortsfrequenz haben) und die größer sind als ein Detail innerhalb eines Halbbildes in diesem Bereich.
Bezug nehmend auf Figur 3 sei erwähnt, daß in Bereichen mit Bewegung nur Bildelemente, die sich auf ein Halbbild beziehen, erhalten bleiben. Dieses wird als das erste oder gerade Halbbild bezeichnet, das aus geraden Halbbild-Bildelementen 50, Figur 3, besteht. Das andere Halbbild wird als das zweite oder ungerade Halbbild bezeichnet, das aus ungeraden Halbbild-Bildelementen 52 besteht. Das erfindungsgemäße Verfahren ändert nur das ungerade Halbbild, wobei die Bildelemente, an denen es zu einer Operation kommen kann, auf die Hälfte der gesamten Bildelemente in dem Bild begrenzt werden. Der nachstehend beschriebene Ablauf wird an jedem Bildelement in diesem ungeraden Halbbild durchgeführt. Das Ergebnis an jedem Bildelement darf spätere Berechnungen nicht beeinflussen. Eine Möglichkeit, dieses Ziel zu erreichen, ist, ein zweites Produktbild zu erzeugen, während von einem unveränderten Quellenbild aus gearbeitet wird. Dies wäre jedoch ineffizient, da nur selten ein Bildelement geändert wird. Dementsprechend wird nach der Beschreibung der allgemeinen Methode ein alternatives Verfahren mit Bezug auf die Figuren 3 und 4 beschrieben.
Fig. 3 zeigt eine Schemadarstellung eines Teils von Bildelementen, aus denen ein aufgezeichnetes Bild besteht. Man wird sich erinnern, daß diese Bildelemente aus zwei Gruppen bestehen, ersten ungeraden Halbbild-Bildelementen 50 und einer zweiten Ansammlung von geraden Halbbild-Bildelementen 52, die zwischen den ungeraden Halbbild-Bildelementen verteilt oder eingeschoben smd. Zum Zweck der Veranschaulichung wurden bestimmte dieser Bildelemente mit einer Notation versehen, wie beispielsweise das Bildelement 56 (C&sub2;), dessen Zweck nachstehend deutlich gemacht wird und sich auf einen Grauwert des jeweiligen Bildelements bezieht.
Eine Reihe von Gleichungen kann in bezug auf die geraden und ungeraden Halbbild-Bildelemente 50 und 52 wie folgt definiert werden:
H&sub1; = A&sub1; - 2B&sub1; + 2C&sub1; - 2D&sub1; + E&sub1; Gleichung 1a
H&sub2; = A&sub2; - 2B&sub2; + 2C&sub2; - 2D&sub2; + E&sub2; Gleichung 1b
H&sub3; = A&sub3; - 2B&sub3; + 2C&sub3; - 2D&sub3; + E&sub3; Gleichung 1c
T&sub1; = A1 - 2C, + E, + B, - D&sub1; Gleichung 2a
T&sub2; = A2 - 2C&sub2; + E&sub2; + B&sub2; - D&sub2; Gleichung 2b
T&sub3; = A3 - 2C&sub3; + E&sub3; + B&sub3; - D&sub3; Gleichung 2c
H = H, + 2H&sub2; + H&sub3; Gleichung 3a
T = T, + 2T&sub2; + T&sub3; Gleichung 3b
In einer bevorzugten Ausführungsform werden mehrere Kenngrößen des Koeffizienten C&sub2; dementsprechend gesetzt. Zunächst bleibt C unverändert, wenn H geteilt durch T kleiner als ein ausgewählter erster Schwellenwert ist. Bei der Alternative wird C&sub2; ein Wert zugeordnet, der gleich dem Mittelwert aus B&sub2; und D&sub2; ist, wenn H geteilt durch T größer als ein ausgewählter zweiter Schwellenwert ist. Schließlich wird C&sub2; wünschenswerterweise auf einen Wert zwischen den beiden obigen Fällen von entweder unverändert bleiben oder den Mittelwert aus B&sub2; und D&sub2; zugeordnet bekommen gesetzt, wenn H geteilt durch T zwischen den beiden Schwellenwerten liegt. Es wird festgestellt werden, daß die Werte von H der Gleichungen la bis lc die hochfrequenten Details zwischen den Halbbildern darstellen, die sich vertikal mit derselben Phase über mehrere Bildelemente erstrecken. Die Werte von T der Gleichungen 2a bis 2c stellen die relativen Schwellenwerte auf der Grundlage eines Details innerhalb eines Halbbildes dar.
Der erste und der zweite Schwellenwert werden empirisch gesetzt. Es wurde festgestellt, daß sich mit der Zuordnung eines Wertes von 2 zu einer ersten Schwelle und eines Wertes von 3 zu einer zweiten Schwelle gute Ergebnisse erzielen lassen. Wenn die Schwellenwerte zu hoch sind, werden einige Bewegungs-Nebeneffekte nicht entfernt. Wenn sie zu niedrig sind, wird manches Bilddetail verschwommen.
Die horizontale Mittelwertbildung bei H und T verringert die Rauschempfindlichkeit und die Empfindlichkeit für diagonale Details. Koeffizienten und die Ordnung von absoluten Werten sind für die beschriebene Filtercharakteristik wichtig, die von der mit Bezug auf die Figuren 3 und 4 beschriebenen Verarbeitung bewirkt wird, um Rauschen und dergleichen zu vermeiden. Die Auswahl solcher Koeffizienten wird vorgenommen, um das Erkennen der vorstehend erwähnten charakteristischen Merkmale von Bewegungs- Nebeneffekten hervorzuheben, während der Berechnungsaufwand auf ein vernünftiges Niveau beschränkt wird.
Bezug nehmend auf Figur 4, folgt eine ausführliche Beschreibung des darin gezeigten Flußdiagramms zur erfindungsgemäßen Verarbeitung von Bildelementen. Es wird als vorteilhaft erkannt werden, daß dieses Flußdiagramm ohne weiteres in Programmcode implementiert sein kann, der sich vom System 10 ausführen läßt, um die hier beschriebenen Vorteile der Erfindung zu erreichen, und daß ein solcher Code in verschiedener Art und Weise ausgeführt sein kann, was für den Fachmann unter Bezugnahme auf diese Figur jederzeit offensichtlich ist.
Der Ablauf ist im Flußdiagramm von Figur 4 weiter beschrieben. Eine Videokamera 60 ist mit einem Videoaufzeichnungsadapter 62 verbunden, der zwei Zeilensprung-Halbbilder aufzeichnet, von denen jedes zeitlich von dem anderen getrennt ist und die zusammen ein Vollbild ergeben. Der Block 64 prüft dieses Bild auf ein Detail mit einer hohen Ortsfrequenz, bei dem die Wahrscheinlichkeit, daß Bewegungs-Nebeneffekte auftreten, groß ist. Die Größe dieses Details "H" wird mit Hilfe der oben angegebenen Gleichungen berechnet. Der Block 65 prüft das Bild auf ein Detail mit Mittelfrequenz, um zur Unterscheidung eines Bilddetails von Bewegungs-Nebeneffekten einen Schwellenwert für die Empfindlichkeit zu bestimmen. Die Größe des Schwellenwertes "T" wird mit Hilfe der oben angegebenen Gleichungen berechnet.
Als nächstes wird das hochfrequente Detail mit den Schwellenwert im Block 68 verglichen, um für jedes Segment des aufgezeichneten Bildes festzustellen, ob der Bereich durch Bewegung verfälscht ist, und um den Verfälschungsgrad zu ermitteln.
In der Zwischenzeit beseitigt der Block 70 alle Bewegungs-Nebeneffekte aus dem Bild. In der bevorzugten Ausführungsform wird dies durchgeführt, indem eines der beiden vom Block 62 aufgezeichneten Halbbilder gelöscht und durch einen Schätzwert dieses Halbbildes, der allein auf dem verbleibenden Halbbild beruht, ersetzt wird. Dies erzeugt ein Bild, das frei von Bewegungs-Nebeneffekten ist, aber eine geringere Auflösung hat.
Als nächstes, gesteuert von dem Ausgangssignal des Bewegungserkennungsblocks 68, wählt ein Mischungsblock 72 zwischen dem Originalbild auf der Leitung 74 und dem bewegungsfreien, aber in der Auflösung verminderten Bild auf der Leitung 76 aus und nimmt eine Mischung vor.
Diese Auswahl und dieses Mischen wird bereichsweise durchgeführt. Man kann als vorteilhaft erkennen, daß die Zeitpause-Funktion des Blocks 70 nur solche Bereiche zu bearbeiten braucht, die vom Bewegungserkennungsblock 68 ausgewählt werden, wodurch Berechnungszeit gespart wird.
Schließlich kann das resultierende gemischte Bild, das vom Block 72 ausgegeben wird, wie jedes digitale Bild verarbeitet werden.
Beispielsweise kann es in einen Bildschirmadapter 78 eingegeben und auf einem Bildmonitor 80 angezeigt werden.
Die Erfindung beschränkt den Block 70 mit der Zeitpause-Funktion in seinem Betrieb nicht auf das vollständige Löschen eines Halbbildes und läßt Implementierungen zu, bei denen Informationen in diesem Halbbild verwendet werden. Beispielsweise würde der Block 70 in manchen Anwendungen eine Kreuzkorrelation an beiden Halbbildern mit einer Vielzahl von Verschiebungen durchführen, um die Größe der Bewegung festzustellen und dann durch Mischen beider Halbbilder die Zeitpause-Funktion ausführen, nachdem eines im Verhältnis zum anderen um eine ermittelte Bewegungsgröße relativ verschoben wurde.
Ein bevorzugter Prozeß zur Verarbeitung der Werte der Bildelemente, die im System 10 gespeichert sind, wird nun beschrieben. Wie zuvor erwähnt wurde, vermeidet dieser Prozeß die Erzeugung eines zweiten Produktbildes, während von einem unveränderten Quellenbild aus gearbeitet wird, wodurch Speicherplatz gespart wird, da geänderte Bildelemente im allgemeinen weitaus weniger zahlreich sind als diejenigen, die unverändert bleiben.
Als repräsentatives Beispiel wird zunächst angenommen, daß ein Bild berechnet worden ist, das eine Vielzahl von Bildelementen hat, die sich der Einfachheit halber in Form von Werten auf der X-Achse von 1 bis 640 und auf der Y-Achse von 1 bis 480 befinden, wobei zum Zweck der Veranschaulichung ein erster Schwellenwert einen Wert von 2 und ein zweiter Schwellenwert einen Wert von 3 hat.
Für X Werte von 2 bis 639 und Y Werte von 3 bis 477, in Schritten von 2, würde eine repräsentative Ausführungsform der Erfindung zuerst H- und T-Werte gemäß den Gleichungen la bis lc und 2a bis 2c berechnen und das Ergebnis in einer 238 x 638-Matrix speichern.
Auch für X-Werte von 2 bis 639 und Y Werte von 3 bis 477, in Schritten von 2, würden H- und T-Werte als auch X-Werte, die durch
X = H - T - T Gleichung 4
definiert sind, berechnet werden.
Wenn festgestellt wird, daß X gleich oder kleiner 0 ist, geht der Ablauf zum nächsten Bildelement weiter und
X = X - T Gleichung 5.
Wenn festgestellt wird, daß X größer 0 ist, wird das Bildelement, das entsprechend den vorstehenden Gleichungen gerade verarbeitet wird, durch einen Mittelwert von darüber und darunter liegenden Bildelementen ersetzt. Andernfalls wird das Bildelement mit einem Mittelwert von sich selbst und einem Mittelwert von Bildelementen, die sich darüber und darunter hetinden, ersetzt.
Durch Vorausberechnung der H- und T-Werte kann das Bild an Ort und Stelle geändert werden, wodurch viel Zeit mit dem Verschieben von Bildelementen gespart wird, da die große Mehrheit der Bildelemente typischerweise nicht geändert wird. Es wird auch festgestellt werden, daß H- und T-Werte pro Hälfte der Bildelemente einmal und nicht dreimal berechnet werden. Es wird darüber hinaus festgestellt werden, daß die 238 x 638-Matrizen auf Wunsch durch zwei 3 x 638-Matrizen ersetzt werden können, die zur Steigerung der Effizienz wiederholt verwendet werden.
Aus dem Vorstehenden ist somit ersichtlich, daß gemäß der Erfindung die Aufzeichnung eines Standbildes von einer Videoquelle mit Zeilensprung durch die Erfindung verbessert werden kann, um unerwünschte Nebeneffekte durch Zeilensprungbewegung zu entfernen. In einem solchen System wird ein erstes und ein zweites sequentielles Halbbild, aus denen ein Vollbild zusammengesetzt ist, aufgezeichnet, und die digitalisierten Bildelemente werden von da an in diesen Halbbildern verarbeitet, um Bereiche festzustellen, die durch eine schnelle Bewegung verfälscht sind. In diesen Bereichen, in denen eine schnelle Bewegung festgestellt wird, ist entsprechend dem Vorstehenden schließlich ein Ersatz für ein Halbbild aus Bildelementen durch Werte von Bildelementen für Schätzungen, die auf dem anderen Halbbild beruhen, vorgesehen.
Während die Erfindung mit Bezug auf bestimmte Ausführungsformen der Erfindung gezeigt und beschrieben wurde, ist dem Fachmann klar, daß die vorstehenden und andere Anderungen an der Form und an Einzelheiten darin vorgenommen werden können, ohne vom Umfang der Erfindung, wie er in den beigefügten Ansprüchen definiert ist, abzuweichen.

Claims

1. Verfahren zum Betreiben eines Videosichtgeräts, in dem Bilder sequentiell in mindestens ersten und zweiten Zeilensprung-Halbbildern gezeigt werden, wobei jedes Halbbild aus einer Matrix von Pixeln besteht, die zusammen ein Bild darstellen, und das Verfahren die folgenden Schritte umfaßt:

Erzeugen eines Maßes (H) für ein hochfrequentes Zwischenhalbbild-Detail zwischen den ersten und den zweiten Halbbildern, indem gewichtete Pixelwerte aller Pixel in dem ersten Zeilensprung-Halbbild von gewichteten Pixelwerten aller Pixel in dem zweiten Zeilensprung-Halbbild innerhalb eines ausgewählten Bereichs, der eine vorher festgelegte Anzahl von Zeilen und eine vorher festgelegte Anzahl von Spalten um ein interessierendes Pixel in dem Bild enthält, abgezogen werden, wobei die vorher festgelegte Anzahl von Spalten mindestens zwei beträgt;

Erzeugen eines Maßes (T) für ein Detail innerhalb eines Halbbildes auf der Grundlage von halbbildinternen Unterschieden zwischen den Pixelwerten der ungeraden und der geraden Zeilen des ersten Zeilensprung-Halbbildes innerhalb des ausgewählten Bereichs und auf der Grundlage von halbbildinternen Unterschieden zwischen den ungeraden und den geraden Zeilen des zweiten Zeilensprung-Halbbildes innerhalb des ausgewählten Bereichs;

Feststellen, ob das Zwischenhalbbild-Maß geteilt durch das halbbildinterne Maß innerhalb eines vorher festgelegten Bereichs liegt und, wenn ja, Ersetzen des Pixelwertes des interessierenden Pixels durch einen Pixelwert, der funktional mit Pixeiwerten von Pixeln verbunden ist, die in dem ausgewählten Bereich, jedoch in einem anderen Halbbild liegen.

2. Verfahren wie in Anspruch 1 beansprucht, wobei der Pixelwert, der die Pixelwerte an dem interessierenden Pixe ersetzt, durch ein Interpolationsverfahren abgeleitet wird.

3. Ein Videobild-Anzeigesystem, in dem Bilder sequentiell in mindestens ersten und zweiten Zeilensprung-Halbbildern gezeigt werden, wobei jedes Halbbild aus einer Matrix von Pixeln besteht, die zusammen das Bild darstellen, und das System folgendes umfaßt:

Mittel zur Erzeugung eines Maßes (H) für ein hochfrequentes Zwischenhalbbild-Detail zwischen den ersten und den zweiten Halbbildern, indem gewichtete Pixelwerte aller Pixel in dem ersten Zeilensprung-Halbbild von gewichteten Pixelwerten aller Pixel in dem zweiten Zeilensprung-Halbbild innerhalb eines ausgewählten Bereichs abgezogen werden, der eine vorher festgelegte Anzahl von Zeilen und eine vorher festgelegte Anzahl von Spalten um ein interessierendes Pixel in dem Bild enthält, wobei die vorher festgelegte Anzahl von Spalten mindestens zwei beträgt;

Mittel zur Erzeugung eines Maßes (T) für ein halbbildinternes Detail auf der Grundlage von halbbildinternen Unterschieden zwischen den Pixeiwerten der ungeraden und der geraden Zeilen des ersten Zeilensprung-Halbbildes innerhalb des ausgewählten Bereichs und auf der Grundlage von halbbildinternen Unterschieden zwischen den ungeraden und den geraden Zeilen des zweiten Zeilensprung-Halbbildes innerhalb des ausgewählten Bereichs;

Mittel, die angeordnet sind, um festzustellen, ob das Zwischenhalbbild-Maß geteilt durch das halbbildinterne Maß innerhalb eines vorher festgelegten Bereichs liegt und, wenn ja, um den Pixelwert des interessierenden Pixels durch einen Pixelwert zu ersetzen, der funktional mit Pixelwerten von Pixeln verbunden ist, die in dem ausgewählten Bereich, jedoch in einem anderen Halbbild liegen.

4. System wie in Anspruch 3 beansprucht, das angeordnet ist, um den Pixelwert abzuleiten, der die Pixelwerte an dem interessierenden Pixel durch ein Interpolationsverfahren ersetzt.