DE69831886T2

DE69831886T2 - Verfahren und Vorrichtung zur Bildsignalumsetzung

Info

Publication number: DE69831886T2
Application number: DE69831886T
Authority: DE
Inventors: Tetsujiro Shinagawa-ku Kondo; Tsutomu Shinagawa-ku Watanabe; Tomoyuki Shinagawa-ku Ohtsuki
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-02-14
Filing date: 1998-02-13
Publication date: 2006-07-27
Anticipated expiration: 2018-02-14
Also published as: CA2229511C; ES2247659T3; EP0859513B1; CN1199987A; CN1118194C; MX9801198A; EP0859513A2; DE69831886D1; CA2229511A1; US6330344B1; EP0859513A3

Description

Die vorliegende Erfindung bezieht sich allgemein auf die Bildverarbeitung, insbesondere auf eine Bildverarbeitungseinrichtung und ein Verfahren.
Bei modernen digitalen Bildverfahren werden analoge Videosignale abgetastet und als Digitaldaten zur nachfolgenden Reproduktion auf einer Kathodenstrahlröhre (CRT) oder einer anderen Anzeigeeinrichtung gespeichert. Es ist ein beabsichtigtes Ziel, diese Bilder mit einer Auflösung so hoch wie möglich und einer so geringen Verzerrung wie möglich anzuzeigen.
Bilder, die auf einer CRT angezeigt werden, beispielsweise Bilder, die von Fernsehsignalen, Videobandrekordern (VTRs) oder von DVD-Wiedergabegeräten hergeleitet werden, werden durch wiederholtes Abtasten von Elektronenstrahlen in der horizontalen Richtung erzeugt. Wie in 25 gezeigt ist, wird jede horizontale Abtastung von links nach rechts durchgeführt, und, nach jeder Abtastung werden die Strahlen zurück zur extremen Linken geschwenkt und vertikal neu positioniert, um die nächste horizontale Abtastung zu beginnen. Der Fluoreszenz-Bildschirm der CRT wird von drei Elektronenstrahlen bestrahlt, um entsprechend Blau-, Grün- und Rot-Leuchtstoff, welcher in kleinen Einheiten auf dem Bildschirm verteilt ist, zu bestrahlen. Die Leuchtstoffe erzeugen Lichtpunkte entsprechend der Intensität der Elektronenstrahlen, und die Ansammlung aller Punkte erzeugt ein Bild. Folglich kann ein angezeigtes Bild als Ansammlung solcher Punkte, d.h., Pixeln angesehen werden.
Da ein angezeigtes Bild auf einer CRT, welches von einem analogen Signal hergeleitet wird, aus einer Ansammlung von licht-emittierenden Pixeln besteht, kann man sich das Bild wie ein Digitalsignal vorstellen, welches durch Abtasten des Ursprungsbilds bei den Pixelpositionen erhalten wird. Wenn somit das ursprüngliche analoge Bild in einem ausreichenden Abtastintervall in sowohl der horizontalen als auch der vertikalen Richtung abgetastet werden würde, um die gleiche Anzahl von Punkten wie die Anzahl von Pixeln auf einer CRT zu erzeugen, könnte eine Sammlung von Bilddaten digital gespeichert werden. Wenn diese nachfolgend reproduziert werden, wird ein Bild von beinahe der gleichen Auflösung bei einem strickt analogen Aufzeichnungs-/Wiedergabeverfahren erzielt.
Das Abtast-Theorem diktiert, dass ein Analogsignal vollständig von einem Satz gleichförmig beabstandeter diskreter Abtastungen davon zeitlich rekonstruiert werden kann, vorausgesetzt, dass das Signal mit einer Rate von zumindest dem Zweifachen der höchsten Frequenzkomponente des Signals abgetastet wird. Wenn ein Ursprungsbild abgetastet wird wird, wenn das Abtast-Theorem nicht erfüllt wird, eine Aliasing-Verzerrung im angezeigten Bild erzeugt. Um die Aliasing-Verzerrung zu korrigieren, wurden Vorfilter verwendet, um das Unterabtasten in der horizontalen Richtung (Abtastzeile) zu kompensieren; diese Vorfilter werden jedoch üblicherweise in der vertikalen Richtung nicht vorgesehen. Somit ist die Aliasing-Verzerrung in der Vertikalrichtung ein allgemeines Problem.
26 zeigt die Aliasing-Verzerrung eines angezeigten Bilds in der Vertikalrichtung. Vier Pixel P₁–P₄ einer bestimmten Spalte sind in jedem der Rahmen N und N + 1 gezeigt. Die Signale S_N und S_N+1 zeigen die Bildpegelveränderung des Ursprungsbilds in der Vertikalrichtung für jede gegebene Spalte, wobei der Amplitudenpegel in der Figur horizontal dargestellt ist. Somit ist beispielsweise im Rahmen N die Luminanz des Bilds höher für das Pixel P₂ als für das Pixel P₁. Wenn nun die höchste räumliche Frequenzkomponente des Ursprungsbilds in der Vertikalrichtung eine Periode von weniger als dem Zweifachen des horizontalen Abstands zwischen Pixel hat, wird das Abtast-Theorem nicht erfüllt und die Aliasing-Verzerrung resultiert. Dies ist der Fall für sowohl das Signal S_N als auch S_N+1 in 26. Beispielsweise ist das Signal S_N', welches eine Annäherung für das Abtastsignal des Rahmens N ist, bemerkenswert verschieden gegenüber dem Ursprungssignal S_N. Mit der Aliasing-Verzerrung wird die Hochfrequenzkomponente des Ursprungssignals während der Reproduktion verloren, sogar wenn ein Filter, um Aliasing zu entfernen, in der Vertikalrichtung verwendet wird. Dieses Aliasing-Verzerren kann eine Ursache der Verschlechterung bei der Signalverarbeitung, beispielsweise der Y/C-Trennung, der Rauschbeseitigung, der Qualitätsverbesserung usw. sein.
Es sei angemerkt, dass, während das Unterabtasten des Bilds, wie oben erläutert, immer eine verminderte Auflösung zur Folge hat, die Wirkung in Bezug auf Zuschauer hinsichtlich der Bildqualität davon abhängt, wie sich die Szene von Rahmen zu Rahmen ändert. Wenn sich ein Rahmen mit Aliasing-Verzerrung signifikant von Rahmen zu Rahmen ändert, wie dies der Fall in 26 ist, hat dies ein unnatürlich sich bewegendes Bild oder Unschärfe von der Perspektive des Benutzers zur Folge. Wenn die Szene still bleibt, ist das Aliasing-Rauschen nicht so groß. In jedem Fall besteht, da die Auflösung immer durch Unterabtasten verschlechtert wird und die Signale des Standard-Fernsehrundfunks und dgl. für lediglich eine Anzahl von kleinen horizontalen Bewegungen pro Rahmen beabsichtigt sind, eine Notwendigkeit für einen praktischen Weg, Aliasing zu beseitigen und das Ursprungsbild mit verbesserter Qualität wiederherzustellen.
Patti A. J. et al "High Resolution Standards Conversion of Low Resolution Video", Proceedings of the International Conference on Acoustics, Speech and Signal Processing (ICASSP), Detroit, 9.–12. Mai 1995, Image and Multi-Dimensional Signal Processing/Signal Processing Applications Development, Band 4, no. Conf. 20, Seite 2197–2200, betrifft das Hochauflösungs-Rekonstruktionsproblem zum Rekonstruieren eines Standbilds mit hoher Qualität von einer Sequenz niedrig-auflösender Bilder, welche an Aliasing unter anderen Fehlern leiden. Die vorgeschlagenen Lösungen haben Komponenten einschließlich Bewegungskompensation und Interpolation. Die Bewegungskompensation wird dazu verwendet, die Pixel von den verfügbaren niedrig-auflösenden Rahmen auf einem allgemeinen hochauflösenden Gitter abzubilden. Um diese auszuführen, werden Bewegungsvektoren berechnet. Die Interpolation beinhaltet das Kombinieren von Pixeln, welche vom niedrig-auflösenden Gitter auf das hochauflösende Gitter abgebildet wurden, um ein hochauflösendes Bild, welches auf einem rechteckigen Gitter abgetastet wird, zu erzeugen.
A. Murat Tekalp et al "High-Resolution Image Reconstruction from Lowerresolution Image Sequences and Space-varying Image Restoration", Proceedings of the International Conference on Acoustics, Speech and Signal Processing (ICASSP), US, New York, IEEE, Band Conf. 17, 1992, Seite 169-172 offenbart ähnliche Information wie Patti A. J. et al. Zusätzlich empfehlen Tekalp et al das Segmentieren eines Bilds, welches Bewegung enthält, in Bereiche mit gleichförmiger Bewegung und das Anwenden von Rekonstruktion separate über die Segmente.
Eine Ausführungsform der Erfindung versucht, ein unterabgetastetes Bildsignal in ein Ausgangsbildsignal umzusetzen, wobei die Aliasing-Verzerrung reduziert oder beseitigt ist.
Eine weitere Ausführungsform der Erfindung versucht, ein hochauflösendes Bild von einem niedrig-auflösenden Bild zu erzeugen.
Eine noch weitere Ausführungsform der Erfindung versucht, die Qualität eines anzeigbaren Bilds zu verbessern, welches von einem zugeführten Bildsignal niedriger Qualität erzeugt wird.
Merkmale der Erfindung sind in den Ansprüchen angegeben, für die Aufmerksamkeit ersucht wird.
Bei einer beispielhaften Ausführungsform der Erfindung wird eine Bildsignal-Umsetzungsvorrichtung bereitgestellt, um ein erstes Bildsignal in ein zweites Bildsignal umzusetzen, wo das erste und das zweite Bildsignal jeweils mehrere Rahmen unterschiedlicher Bilder aufweisen, wobei die Rahmenpixel aufweisen, welche in der horizontalen und der vertikalen Richtung angeordnet sind. Die Vorrichtung umfasst einen Bewegungsdetektor, der betreibbar ist, Bewegung des ersten Bildsignals zwischen aufeinanderfolgenden Rahmen zu ermitteln, und eine Verarbeitungsschaltung, um das zweite Bildsignal zu erzeugen, indem zu den Pixeln des ersten Bilds angenommene Pixel in der Vertikalrichtung, welche der ermittelten Vertikalbewegung entsprechen, und/oder angenommene Pixel in der Horizontalrichtung, welche der ermittelten Horizontalbewegung entsprechen, hinzugefügt werden.
Die Vorrichtung kann verwendet werden, um ein Ausgangssignal entweder der gleichen Auflösung wie das erste Bildsignal zu erzeugen, wenn die Aliasing-Verzerrung reduziert oder beseitigt ist, oder mit höherer Auflösung in der vertikalen und/oder horizontalen Richtung. Der Bewegungsdetektor ermitelt vorzugsweise die Bewegung des ersten Bildsignals mit einem feineren Wert als die Pixelgröße des ersten Bildsignals. Die Verarbeitungsschaltung kann aus einem Auflösungseinrichtungsspeicher zusammengesetzt sein, um ein Bild des ersten Bildsignals zu speichern, welcher eine größere Speicherkapazität als die Menge an Daten innerhalb eines Bild des ersten Bildsignals hat, und einer Steuerung, die betreibbar ist, das Schreiben des ersten Bildsignals in den Auflösungseinrichtungsspeicher zu steuern und das Lesen eines neuen Bildsignals vom Speicher zu steuern. Die Steuerung schreibt das erste Bildsignal in den Speicher gemäß der ermittelten Bewegung des ersten Bildsignals.
Bei einer anderen Ausführungsform umfasst die Bildumsetzungsvorrichtung einen Bereichsteiler, um zumindest einen ersten und einen zweiten Bildbereich eines Bilds zu definieren, wo Bewegung in jedem der Bildbereiche ermittelt wird. In diesem Fall werden ein erster und ein zweiter Bildbereich des zweiten Bildsignals auf der Basis der Annahme von Pixeln bei Positionen erzeugt, welche der ermittelten Bewegung im entsprechenden ersten und zweiten Bildbereich des ersten Bildsignals entsprechen. Ein Kombinierer kombiniert den ersten und den zweiten Bildbereich des zweiten Bildsignals, um ein zusammengesetztes Bild zu erzeugen.
Bei einer Anwendung kann das erste Bildsignal ein Standardauflösungs-Bildsignal (SD) sein, welches in ein Hochauflösungs-Bildsignal (HD) als zweites Bildsignal umgesetzt wird, welches die zweifache Auflösung wie das SD-Signal sowohl in der horizontalen als auch in der vertikalen Richtung hat. Für einige der Rahmen können Pixel des HD-Signals auch durch ein adaptives Verarbeitungsverfahren erzeugt werden.
Die folgende ausführliche Beschreibung, die beispielhaft angegeben wird und nicht beabsichtigt ist, die vorliegende Erfindung lediglich darauf zu begrenzen, wird am besten in Verbindung mit den beiliegenden Zeichnungen eingeschätzt, wobei gleiche Bezugszeichen gleiche Elemente und Teile bezeichnen, wobei:
1 ein Blockdiagramm eines beispielhaften Fernsehempfängers gemäß der Erfindung ist;
2A-2B und 3 Diagramme sind, welche Pixeldatenbildung gemäß der Erfindung zeigen;
4 ein Blockdiagramm des Verzerrungskorrekturgliedes von 1 ist;
5 eine graphische Darstellung ist, welche ein Verfahren zum Bestimmen eines Bewegungsvektors für ein Bild zeigt;
6-8 einen Datenspeicher innerhalb eines Auflösungseinrichtungsspeichers zeigen;
9 ein Flussdiagramm ist, welches eine Routine zum Bilden hochauflösender Rahmen zeigt;
10 ein Blockdiagramm eines beispielhaften Entzerrungskorrekturorgans ist;
11 ein Blocldiagramm einer weiteren Ausführungsform eines Empfängers gemäß der Erfindung ist;
12 ein Blockdiagramm eines beispielhaften Auflösungsumsetzers innerhalb des Empfängers von 11 ist;
13 Datenspeicherorte eines Auflösungseinrichtungsspeichers des Umsetzers von 12 zeigt;
14 ein Flussdiagramm ist, welches eine Routine zum Schreiben von Bilddaten in einen Speicher des Auflösungsumsetzers zeigt;
15 den Speicher von Bilddaten im Auflösungsumsetzer gemäß eines Bewegungsvektors eines Bilds zeigt;
16 ein Flussdiagramm ist, welches eine Routine zeigt, um Bilddaten vom Auflösungsumsetzungsspeicher innerhalb des Auflösungsumsetzers zu lesen;
17 ein Flussdiagramm ist, welches einen Prozess zum Erzeugen hochauflösender Pixeldaten zeigt;
18 ein Blockdiagramm einer Schaltung ist, um Hochauflösungs-Bilddaten von Standardauflösungs-Bilddaten unter Verwendung von Vorhersagekoeffizienten zu erzeugen;
19 ein Diagramm ist, welches Klassenanzapfungen und Vorhersageanzapfungen zeigt;
20 ein Blockdiagramm einer Lerneinrichtung ist, um Vorhersagekoeffizienten zu bestimmen;
21 einen Datenspeicher innerhalb eines Auflösungseinrichtungsspeichers mit einem vergrößerten Zugriffsbereich zeigt;
22 eine rahmenweise Bewegung eines Bilds zeigt;
23 und 24 das Speichern von Pixeldaten des Bilds von 22 zeigen;
25 Horizontalabtastzeilen einer CRT-Anzeigeeinrichtung zeigt;
26 das Unterabtasten eines Bildsignals in der Vertikalrichtung zeigt; und
27 ein Blockdiagramm eines weiteren Auflösungsumsetzers gemäß der Erfindung ist.
In 1 ist ein vereinfachtes Blockdiagramm eines beispielhaften Fernsehempfängers 10 gemäß der vorliegenden Erfindung gezeigt. Der Empfänger 10 setzt ein zugeführtes Fernsehsignal in ein Digitalsignal um, korrigiert das Digitalsignal auf Aliasing-Verzerrung, während dessen Auflösung verbessert wird, und setzt das verzerrungs-korrigierte Digitalsignal zurück in ein Analogsignal zur Anzeige um.
Der Empfänger 10 weist einen Tuner 1 auf, um ein zugeführtes Fernsehrundfunksignal eines ausgewählten Bandes zu demodulieren, welches über eine Antenne oder eine Übertragungsleitung empfangen wird. Das demodulierte Signal wird an ein Tiefpassfilter (TPF) 2 angelegt, welches als Aliasing-Verzerrungsvorfilter arbeitet, um Hochfrequenzkomponenten des Fernsehsignals auszufiltern. Das gefilterte Ausgangssignal des TPF 2 wird an einen Analog-Digital-Umsetzer (A/D) 3 angelegt, wo es abgetastet und digitalisiert wird. Das digitalisierte Signal wird dann dem Verzerrungskorrekturglied 4 bereitgestellt, das Aliasing-Verzerrung in der Vertikalrichtung des digitalisierten Fernsehsignal reduziert oder im Wesentlichen beseitigt. Eine Bildverarbeitungsschaltung, beispielsweise ein Y/C-Separator 5 wird zwischen dem Verzerrungs-Korrekturglied 4 und dem D/A-Umsetzer 6 verwendet (oder alternativ zwischen dem Tuner 1 und dem TPF 2). Der Y/C-Separator 5 trennt die Luminanz von der Chrominanz im Ausgangssignal vom Verzerrungs-Korrekturglied 4. Es sei angemerkt, dass in der gezeigten Konfiguration ein zusammengesetztes Signal (Luminanz plus Chrominanz) dem A/D-Umsetzer 3 zugeführt wird, und das Abtasten gemäß der Frequenz des Chrominanz-Hilfsträgers ausgeführt wird. Wenn bei einer Alternative die A/C-Trennung des Fernsehsignals durchgeführt wird, bevor das Signal an den A/D-Umsetzer 3 angelegt wird, würde die Abtastung bei einer Frequenz in der Größenordnung von 13,5 MHz durchgeführt werden. In jedem Fall setzt der D/A-Umsetzer 6 das verzerrungs-korrigierte Ausgangssignal des Verzerrungs-Korrekturglieds 4 zurück in ein Analogsignal um, das auf der CRT 7 angezeigt wird.
Die Wiedergabe eines Ursprungsbilds von einem Bild, welches Aliasing-Verzerrung in der Vertikalrichtung hat, d.h., senkrecht zu den horizontalen Abtastzeilen, wird nun beschrieben. In 2A ist das Prinzip eines Aliasing-Verzerrungs-Beseitigungsverfahrens, welches innerhalb des Verzerrungskorrekturglieds 4 durchgeführt wird, gezeigt. Die Bildsignalveränderung in der Vertikalrichtung innerhalb einer bestimmten Spalte C_i jedes Rahmens des Bilds ist als Signale S_N bis S_N+4 für Rahmen N bis N + 4 entsprechend bezeichnet. Die Pixel P₁ bis P_K der Spalte C_i in jedem Rahmen sind an den entsprechenden Positionen der üblichen horizontalen Abtastzeilen SL₁ bis SL_K angeordnet. Der Signalpegel jedes Pixels ist in der Figur horizontal dargestellt (beispielsweise im Rahmen N die Signalpegel V₁-V_k entsprechend den Pixeln P₁-P_k).
Gemäß einer Ausführungsform der vorliegenden Erfindung werden Pixel an Positionen zwischen den üblichen horizontalen Abtastzeilen gebildet, um die Aliasing-Verzerrung zu beseitigen und um optional die Auflösung des angezeigten Bilds zu verbessern. Diese Zwischenabtast-Zeilenpixel werden gemäß der Bewegung des Bilds von Rahmen zu Rahmen erzeugt. Um dieses Konzept zu zeigen, wird zunächst bezuggenommen auf den Rahmen N, wo die Signalveränderung eines Ursprungsbilds S_N längs der Spalte C₁ für diesen Rahmen gezeigt ist. Aufgrund der hohen räumlichen Frequenzen innerhalb des Signals S_N ist die Vertikalabtastung an den Positionen entsprechend den horizontalen Abtastzeilen nicht ausreichend, um die gesamte Bildinformation zu reproduzieren, wodurch die Aliasing-Verzerrung ohne das Pixeleinrichtungsverfahren der Erfindung sich einstellen würde. Das heißt, das vertikal-orientierte Bildsignal würde auf der Basis lediglich des Abtastens eines Rahmens in einem Zeitpunkt bei den üblichen horizontalen Abtastzeilen einem verzerrten Signal S_N' ähneln (gezeigt als gestrichelte Linie), welches stark verschieden gegenüber dem ursprünglichen Bildsignal S_N ist.
Um Zwischenabtast-Zeilenpixel zu erzeugen, die das Ursprungsbild wiederherstellen, wird die Bewegung von Rahmen zu Rahmen des Bildsignals ermittelt. Für den Rah men N werden die Signalwerte V₁ bis V_k für die jeweiligen Pixel im Speicher gespeichert. Die Bewegung des Bilds wird dann zwischen dem Rahmen N und N + 1 ermittelt. (Beispielhafte Verfahren zum Ermitteln der Bewegung von Rahmen zu Rahmen werden später erläutert). Im Beispiel von 2A bewegt sich das Bild nach unten um einen Abstand D₁ zwischen den Rahmen N und N + 1. Für den Rahmen N + 1 wird das Bild wiederum bei den horizontalen Abtastzeilen abgetastet, um Signalwerte V_1' bis V_K' für die Pixel P₁-P_K des Rahmens N + 1 zu erzeugen, und diese Werte werden im Speicher gespeichert. Zusätzlich werden Zwischenabtast-Zeilenpixel P_1a, P_2a, ... P_Ka gebildet und im Speicher gespeichert, wo das Pixel P_1a den Signalwert von V₁ hat, der vom Rahmen N für das Pixel P₁ bestimmt wird, das Pixel P_2a hat den Signalwert von V₂, der von der Abtastung des Rahmens N für das Pixel P₂ bestimmt wird, usw.. Die Lage des Pixels P_1a im Rahmen N + 1 ist die Distanz D₁ von der Abtastzeile SL₁ bestimmt auf der Basis der Bewegung vom Rahmen N zu N + 1. In gleicher Weise ist das Pixel P_2a an der Distanz D₁ unterhalb der Abtastzeile SL₂ angeordnet.
Der Pixelerzeugungsprozess wird für den Rahmen N + 2 wiederholt, wo das Bildsignal S_N+2 in den horizontalen Abtastzeilen abgetastet wird, um Signalwerte V_1''-V_k'' für die jeweiligen Pixel P₁ bis P_x dieses Rahmens zu bestimmen, und die Bewegung vom Rahmen N + 1 zum Rahmen N + 2 wird ermittelt. Unter der Annahme, dass das Bild sich nach unten um eine Distanz D₂ bewegt, werden Pixel P_1b, P_2b, ... P_Kb erzeugt, die Werte von V_1', V_2', ... V_k' haben, die den vorher ermittelten Werten entsprechen, welche im Speicher für den Rahmen N + 1 gespeichert sind und jedes an einer Distanz D₂ unter der jeweiligen horizontalen Abtastzeile SL₁ angeordnet ist. In gleicher Weise enthält der Rahmen N + 2 die Pixel P_1a, P_2a, ... P_Ka, die entsprechend Werte von V₁, V₂, ... V_k haben, wie sie vorher im Speicher für den Rahmen N + 1 gespeichert sind, und jedes an einer Distanz (D₁ + D₂) unter SL₁ angeordnet ist.
Der Pixelerzeugungsprozess läuft weiter für die nachfolgenden Rahmen, bis eine vorher festgelegte Anzahl von zusätzlichen Pixeln erzeugt ist. Im Beispiel von 2A läuft der Prozess bis zum Rahmen N + 4, der fünf Mal so viele Pixel in der vertikalen Richtung wie der Rahmen N hat. 2B zeigt die Pixel zwischen Abtastzeilen SL₁ und SL₂ des Rahmens N + 4. Es sei angenommen, dass sich das Bild nach unten um eine Distanz D₃ zwischen den Rahmen N + 2 und N + 3 bewegt hat, und um eine Distanz Da zwischen den Rahmen N + 3 und N + 4. Damit hat der Rahmen N + 4 ein Pixel P₁ des Werts V_1'''' entsprechend dem Pegel des Signals S_N+4 an der Position SL₁ sowie Pixel P_1d, P_1c, P_1b und P_1a der Werte V_1''', V_1'', V_1' bzw. V₁, wo P_1d, eine Distanz D₁ unter SL₁ ist, P_1c eine Distanz (D₃+ D₄) unter SL₁ ist usw.. Natürlich können mehr oder weniger zusätzliche Pixel als eine Funktion der gewünschten Auflö sung erzeugt werden. In jedem Fall werden im vorliegenden Beispiel alle Rahmen im Anschluss an den Rahmen N + 4 fünf Mal so viele Pixel in der Vertikalrichtung als die Anzahl von horizontalen Abtastzeilen haben.
Folglich wird die Pixelerzeugung erreicht, indem Pixel an Stellen angenommen werden, die der Bewegung entsprechen. Parktisch ist es jedoch wünschenswert, ein Bild mit gleichförmig beabstandeten Abtastungen zu zeigen. Wenn im obigen Beispiel die Zwischenrahmenbewegung nicht gleichförmig ist, so dass die Distanz D₁ bis D₄ nicht gleich ist, werden die Pixel, die gebildet werden, nicht gleichförmig beabstandet sein. Durch geeignetes Abrunden der Zwischenrahmenbewegung können jedoch Pixel mit gleichförmigem Abstand hergeleitet und im Speicher gespeichert werden. Unter der Annahme, dass der Rahmen N + 4 somit durch gleichförmig beabstandete Pixel in der Vertikalrichtung dargestellt wird (mit dem Fünffachen der Anzahl der Abtastzeilen in diesem Beispiel), kann jeder Rahmen danach mit der gleichen Anzahl von gleichförmigen beabstandeten Pixeln dargestellt werden.
Im Beispiel von 2A wurde angenommen, dass die Zwischenrahmenbewegung des Bilds streng in der Vertikalrichtung war. Um die Aliasing-Verzerrung zu beseitigen und die Anzahl von Pixeln in der Vertikalrichtung zu steigern, wenn sich das Ursprungsbild in sowohl der horizontalen als auch der vertikalen Richtung bewegt, sollte die Horizontalbewegung ebenfalls in Betracht gezogen werden. Zu diesem Zweck wird ein Bewegungsvektor von Rahmen zu Rahmen berechnet, wie ausführlicher unten erläutert wird. Außerdem bewegen sich unterschiedliche Bereiche des Bilds innerhalb des Rahmens üblicherweise in verschiedenen Richtungen. Bestimmte Ausführungsformen der Erfindung betrachten diese in betracht gezogene divergente Bewegung ebenfalls separat durch Analyse unterschiedlicher Blöcke jedes Rahmens.
3 ist ein Diagramm, um das allgemeine Konzept zum Verbessern der Auflösung und zur Beseitigung von Aliasing durch Bildung von Pixeln auf der Basis von Bilddaten von vorherigen Rahmen und der Bildbewegung von Rahmen zu Rahmen zu beseitigen. Der obere Teil des Diagramms zeigt Rahmen N bis N + 3 innerhalb von Bilddaten 101–104 entsprechend längs gemeinsamer horizontaler Abtastzeilen. Unter der Annahme, dass sich das Bild zunehmend nach unten vom Rahmen N zum Rahmen N + 3 bewegt, werden zusätzliche Pixel zwischen den Abtastzeilen auf der Basis der Daten des vorherigen Rahmens und der Bildbewegung wie oben beschrieben erzeugt. Somit wird der Rahmen N + 1 mit Pixeldaten 101 des Rahmens N verbessert; Pixeldaten 101, 102 werden im Rahmen N + 1 hinzugefügt, und Pixeldaten 101, 102 und 103 werden dem Rahmen N + 3 hinzugefügt, um ein hochauflö sendes Bild mit vier Mal so vielen Pixeln der Vertikalrichtung verglichen zum ursprünglichen Rahmen zu erzeugen.
In 4 ist nun ein Blockdiagramm eines beispielhaften Aufbaus für das Verzerrungs-Korrekturglied 4 dargestellt. Ein Rahmenspeicher 11 empfängt zugeführte Bilddaten, die an das Verzerrungs-Korrekturglied angelegt werden. Es wird angenommen, dass die zugeführten Bilddaten einem unterabgetasteten Bildsignal entsprechen, so dass Aliasing-Verzerrung normalerweise auftreten würde, wenn die Rahmen lediglich ohne auflösungs-verbesserende Pixel, die hinzugefügt werden, wiedergegeben würden. Der Rahmenspeicher 11 besteht aus einem Speicher 11A für einen aktuellen Rahmen, um Bilddaten des aktuellen Rahmens zu speichern, und einem Speicher 11B für einen vorherigen Rahmen, der Bilddaten des Rahmens speichert, der unmittelbar dem aktuellen Rahmen vorhergeht. Ein Bewegungsdetektor 12 ermittelt einen Bewegungsdetektor, der die Bewegung des aktuellen Rahmens in Bezug auf den vorhergehenden Rahmen ausdrückt. Diese Zwischenrahmenbewegung wird mit einem feineren Betrag in der Vertikalrichtung als die Größe eines Pixels (oder Pixel-zu-Pixel-Abstand) innerhalb des verzerrten Bilds ermittelt. Für die aktuelle Erläuterung sei angenommen, dass das Bild eines gesamten Rahmens sich zusammen bewegt, so dass die Bewegung vom vorhergehenden Rahmen zum aktuellen Rahmen für alle Bereiche jedes Rahmens die gleiche ist. Für diesen Fall wird lediglich ein Bewegungsvektor durch den Detektor 12 für jeden Rahmen ermittelt. Der Bewegungsvektor wird der Steuerung 14 bereitgestellt.
Ein Verfahren zum Bestimmen des Bewegungsvektors besteht darin, mehrere Vergleiche zwischen Pixelblöcken identischer Größen in benachbarten Rahmen durchzuführen, beispielsweise 8 × 8 oder 16 × 16-Pixelblöcken. Beginnend mit einem Objektblock des aktuellen Rahmens werden Bildkenndaten einer Anzahl von Blöcken im vorhergehenden Rahmen (Referenzblöcke) mit dem Objektblock verglichen. Wenn ein Referenzblock im vorhergehenden Rahmen mit den engsten Bildkenndaten gegenüber dem Objektblock gefunden wird, kann daraus geschlossen werden, dass dieser Referenzblock sich zur Position des Objektblocks bewegt hat, und es kann der Bewegungsvektor bestimmt werden.
Ein Objektblock wird mit einem Referenzblock dadurch verglichen, dass die absolute Wertedifferenz zwischen Pixelwerten der Pixel im Objektblock gegenüber entsprechenden Pixeln des Referenzblocks berechnet wird. Somit wird der Signalwert des Pixels P₁₁ (Reihe 1, Spalte 1) in einem Objektblock vom Pixelwert des Pixels P₁₁ im Referenzblock subtrahiert, usw.. Der Differenzwert wird als Fehler bezeichnet. Die Fehler jedes Referenzblocks in Bezug auf den Objektblock werden summiert, und der Referenzblock mit dem mi nimalen Gesamtfehler wird bestimmt, und der Bewegungsvektor wird so bestimmt, als ungefähr in der Richtung entsprechend der Positionsbeziehung zwischen diesem Referenzblock und dem Objektblock zu sein. Insbesondere wird, wie in 5 gezeigt ist, eine lineare Interpolation zwischen den Referenzblöcken durchgeführt, um den Bewegungsvektor genauer zu bestimmen. Der Schnittpunkt der beiden linear-interpolierten Linien entgegengesetzter Steigung definiert die Relativposition, bei der der minimale Fehler zwischen dem Objektblock und einen hypothetischen Referenzblock auftritt. Der Schnittpunkt definiert den Bewegungsvektor in Bezug auf den Objektblock.
Fährt man mit 4 fort, so wird ein Szenenänderungsdetektor 13 dazu verwendet, eine Szenenänderung des Fernsehsignals zu ermitteln, wobei die Differenz zwischen Bildern von Rahmen zu Rahmen analysiert werden. Wenn die Differenzen zwischen Bildern des aktuellen Rahmens und des vorhergehenden Rahmens einen vorher bestimmten Schwellenwert übersteigen, wird allgemein eine Szenenänderung ermittelt. Verfahren zum Ermitteln von Szenenänderungen sind im Stand der Technik bekannt. Beispielsweise kann der Szenenänderungsdetektor 13 so aufgebaut sein, Fehler zwischen Objektblöcken und Referenzblöcken in einer Weise zu analysieren, die ähnlich dem Ermitteln eines Bewegungsvektors ist, und die minimalen Fehlerwerte für die jeweiligen Objektblöcke unter Bildung des aktuellen Rahmens herausfinden. Wenn die Gesamtsumme der minimalen Fehlerwerte für die jeweiligen Blöcke einen vorher festgelegten Schwellenwert übersteigt, wird eine Szenenänderung ermittelt, und ein Szenenänderungssignal wird der Steuerung 14 bereitgestellt.
Die Steuerung 14 steuert das Schreiben von Daten vom Rahmenspeicher 11 in einen Auflösungseinrichtungsspeicher 15 gemäß dem Bewegungsvektor, der vom Bewegungsdetektor 12 zugeführt wird, und dem Signal vom Szenenänderungsdetektor 13. Der Auflösungseinrichtungsspeicher 15 ist in der Lage, mehr Bilddaten als die Daten innerhalb eines Rahmens mit niedriger Auflösung im Rahmenspeicher 11 zu speichern, um somit neu erzeugte Hochauflösungsrahmen zu speichern, die sequentiell herausgeschoben werden. Die Steuerung 14 steuert das Schreiben von Bilddaten vom Speicher 11 in den Speicher 15 durch Bestimmen geeigneter Speicheradressen innerhalb des Speichers gemäß dem Bewegungsvektor. Hochauflösende Rahmen werden innerhalb des Speichers 15 in einer ähnlichen Weise, wie oben in Verbindung mit 2A beschrieben, erzeugt. Kurz ausgedrückt werden, um Zwischenabtast-Zeilenpixel (Verbesserungsauflösungspixel) zu bilden, Daten des Speichers 11A für den aktuellen Rahmen (oder vom Speicher 11B vom vorhergehenden Rahmen) zu einem Hochauflösungs-"Rahmen"-Speicher 15 an den gleichen Pixelorten innerhalb des Spei chers gemäß den Abtastzeilen übertragen. Bilddaten des nächsten Rahmens werden dann in den Speicher 15 an übertragenen Positionen gemäß dem Bewegungsvektor geschrieben. Die Steuerung 14 liefert einen Relativadresszeiger zum Speicher 15, um den Datentransfer zu den übertragenen Positionen zu bewirken, wobei zumindest einige der Bilddaten des vorherigen Rahmens, welche im Speicher 15 gespeichert sind, an den gleichen Speicherorten unversehrt gelassen werden. Wenn ein Rahmen erzeugt ist, wird dieser aus dem Speicher 15 zum Vertikal-Tiefpassfilter 16 unter der Steuerung der Steuerung 14 übertragen.
Es sei angemerkt, dass im Anschluss an eine Szenenänderung es Zeit benötigen würde, die erforderlich ist, mehrere niedrig-auflösende Rahmen für den echten zu bildenden Hochauflösungsrahmen zu empfangen und zu verarbeiten, wie aus 2A deutlich wird. Wenn somit eine Szenenänderung auftritt, kann Interpolation zwischen Niedrig-Auflösungs-Bilddaten durchgeführt werden, um zunächst zusätzliche Pixel im Speicher 15 zu bilden.
6 zeigt das Speichern von Bilddaten innerhalb des Auflösungseinrichtungsspeichers 15. Der Speicher 15 ist in der Lage, Bilddaten von P_H' Pixeln in der Horizontalrichtung (Abtastzeile) zu speichern, und Bilddaten von P_V' Pixeln in der Vertikalrichtung. Beispielsweise sei in der folgenden Beschreibung angenommen, dass P_H' > P_H und P_V' > 4P_V, wobei P_H und P_V die Anzahl von Pixeln in der horizontalen bzw. vertikalen Richtung für Niedrig-Auflösungsrahmen ist, die innerhalb des Rahmenspeichers 11 gespeichert sind. Für diesen Fall ist der Auflösungseinrichtungsspeicher 14 in der Lage, eine größere Anzahl von Pixeln in der Horizontalrichtung und mehr als das Vierfache der Anzahl von Pixeln in der Vertikalrichtung als das Niedrig-Auflösungsbild zu speichern. Wie anschließend verwendet wird der Ausdruck "verzerrtes Bild" oder "verzerrte Daten" dazu verwendet, das Bild oder die Daten zu bezeichnen, wie sie innerhalb des Rahmenspeichers 11 gespeichert sind, wobei die Daten einem unterabgetasteten Bild in der Vertikalrichtung entsprechen. Wie oben erläutert, würde sich jedoch ein verzerrtes reproduziertes Bild nur dann ergeben, wenn die Daten unmittelbar aus dem Rahmenspeicher 11 gelesen und rahmenweise reproduziert würden. Bei der vorliegenden Ausführungsform werden die "verzerrten" Bilddaten dazu verwendet, ein nicht verzerrtes regeneriertes Bild zu bilden.
Innerhalb des Auflösungseinrichtungsspeichers 15 kann die Datenspeicherlage durch eine Absolutadresse und außerdem durch eine Relativadresse definiert werden. 6 zeigt den Datenspeicher gemäß Absolutadressen, wobei die Absolutadressen alle Speicherstellen des Speichers 15 umfassen. Die erste Reihe und Spalte des Absolutadress-Speicherbe reichs sind als Reihe 0 und als Spalte 0 bezeichnet. Somit wird ein Pixel in der Reihe (i + 1) und der Spalte (j + 1) durch eine Absolutadresse (i, j) bestimmt.
Wie in 7 gezeigt ist, ist innerhalb der Absolutadress-Speichergruppe des Speichers 15 ein Zugriffsbereich 15a entsprechend Pixeln P_H × P_V definiert. Die Stelle des oberen linken Punkts des Zugriffsbereichs 15a wird durch einen Relativadresszeiger R_P bestimmt, der mit einem Pfeil in 7 bezeichnet ist. Der Adresszeiger R_P kann aktuell ein Codewort sein, welches durch die Steuerung 14 zur Steuerungsschaltung (nicht gezeigt) innerhalb des Speichers 15 geliefert wird. Der Adresszeiger funktioniert so, um zu steuern, wo die ankommenden Bilddaten zu schreiben sind. Wie dies der Fall für den größeren Absolutadressbereich ist, beginnt der Zugriffsbereichs 15a ebenfalls mit einer Reihe 0 und einer Spalte 0.
8 zeigt, wie die Bilddaten, welche vom Rahmenspeicher 11 herstammen, in den Zugriffsbereich 15a geschrieben werden. In der Horizontalrichtung des Zugriffsbereichs werden die Bilddaten der gleichen Anzahl von Pixeln wie in einem Rahmen des Rahmenspeichers 11 gespeichert, während in der Vertikalrichtung Daten von vier Mal so vielen Pixeln gespeichert sind. Somit wird, wie durch einen schraffierten Bereich in 8 gezeigt ist, das Schreiben eines verzerrten Bilds vom Rahmenspeicher 11 in den Zugriffsbereich 15a in der Horizontalrichtung sequentiell von der Adresse durchgeführt, die durch den Adresszeiger R_P definiert ist, jedoch in der Vertikalrichtung wird dies jede vierte Zeile durchgeführt. Die Pixeldaten zwischen den Abtastzeilen, beispielsweise in den Reihen 1–3, 5–7, usw. im Gitter von 8 werden gebildet und gemäß dem Bewegungsvektor gespeichert, um einen hochauflösenden Rahmen in der Vertikalrichtung zu erzeugen. Um höhere Auflösung als die des verzerrten Bilds zu realisieren, wird der Bewegungsvektor in feineren Einheiten als die Pixelgröße der Rahmen im Rahmenspeicher 11 ermittelt.
Das Datenspeichern innerhalb des Auflösungseinrichtungsspeichers 15 wird nun weiter ausführlich mit Hilfe des Flussdiagramms von 9 erläutert. Wenn die Steuerung 14 ein Signal vom Szenenänderungsdetektor 13 empfängt, welches eine Szenenänderung vom vorhergehenden Rahmen zum aktuellen Rahmen zeigt, setzt sie alle Daten im Speicher 15 zurück bzw. löscht sie (Schritt S1). Es sei hier angemerkt, dass das Szenenänderungssignal ebenfalls empfangen wird, wenn der äußerste erste Rahmen von Daten durch den Rahmenspeicher 11 empfangen wird. (Gleich, ob der erste Datenrahmen empfangen wird oder eine Szenenänderung aufgetreten ist, ist der Betrieb durch die Steuerung 14 der gleiche). Im Schritt S2 bewirkt die Steuerung 14, dass die verzerrten Daten des aktuellen Rahmenspeichers 11A in den Zugriffsbereich 15a jede vierte Zeile geschrieben werden, wie in 8 gezeigt ist. In diesem Zeitpunkt sind Lücken im Zugriffsbereich 15a zwischen den Speicherstellen entsprechend den Abtastzeilen vorhanden, da diese Speicherstellen vorher zurückgesetzt wurden. Diese Lücken werden mittels Interpolation gefüllt, welche durch die Steuerung 14 im Schritt S3 durchgeführt wird. Das heißt, die Steuerung 14 berechnet Interpolationswerte von den Zwischenabtast-Zeilenpixeln und bewirkt, dass diese Werte als Daten innerhalb des Zugriffsbereichs 15a gespeichert werden. Die Bilddaten, welche die interpolierten Werte enthalten, werden dann aus dem Speicher 15 im Schritt S4 gelesen und an das Vertikal-Tiefpassfilter 16 weitergeleitet.
Im Schritt S5 werden die Daten im Speicher 11A für den aktuellen Rahmen zum Speicher 11B für den vorherigen Rahmen verschoben, und der nächste Datenrahmen wird empfangen und innerhalb des Speichers 11A für den aktuellen Rahmen gespeichert, und es wird wieder bestimmt, ob eine Szenenänderung aufgetreten ist. Wenn nicht, wird die Bewegung durch den Bewegungsdetektor 12 ermittelt (Schritt S6), und es wird ein Bewegungsvektor berechnet. Die Steuerung 14 bewegt dann den Relativadresszeiger gemäß der Bewegung (Schritt S7) und die Daten werden in den Hochauflösungsrahmen innerhalb des Speichers 15 gemäß dem Bewegungsvektor geschrieben. Dieser Betrieb kann in einer Anzahl von Wegen durchgeführt werden. Ein Weg wird es sein, die vorherigen Daten, welche im Zugriffsbereich 15a gespeichert sind, in einen temporären Pufferspeicher innerhalb der Steuerung 14 zu übertragen und dann diese Daten zurück in den Zugriffsbereich 15a umzuschreiben, jedoch gemäß dem Bewegungsvektor zu verschieben. Im Anschluss an die Verschiebung würden die Daten des Speichers 11A des aktuellen Rahmens (die noch nicht in den Speicher 15 geschrieben wurden) in den gleichen Abtastbereich 15a geschrieben, der vorher eingerichtet ist, d.h., in die gleichen Abtastzeilenpositionen und jede vierte Zeile. Somit würden einige der vorherigen Daten überschrieben werden. Mit diesem Verfahren würden die vorherigen Hochauflösungsrahmendaten jeden Rahmen gemäß der Bewegung verschoben werden, wie oben in 2A und 3 gezeigt wurde, wo Daten für jeden vorhergehenden Rahmen sequentiell in direkter Beziehung mit der Bewegung verschoben werden. (Eine Differenz jedoch ist jedoch die, dass keine interpolierten Daten in den Verfahren von 2A oder 3 angenommen wurden, dass Spalte im Hochauflösungsrahmen bis zum fünften Rahmen in 2A und bis zum vierten Rahmen von 3 angenommen wurden).
Während das obige Verfahren zum Verschieben der Speicherpositionen der Hochauflösungsdaten in direkter Beziehung zum Bewegungsvektor ausreichen wird, einen passenden Hochauflösungsrahmen zu bilden, besteht ein bevorzugtes Verfahren darin, die vorheri gen Daten im Zugriffsbereich 15a an den gleichen Speicherstellen zu halten, während die neuen Niedrig-Auflösungsdaten des Speichers 11A des vorherigen Rahmens auf Stellen in Bezug auf die vorherigen Daten innerhalb des Zugriffsbereichs verschoben werden. Anders ausgedrückt werden die Daten des Rahmens N + 1 in die Speicherstellen mit unterschiedlichen Absolutadressen als die Daten des Rahmens N geschrieben, wenn der Bewegungsvektor für den Rahmen N + 1 nicht null ist. Im gleichen Zeitpunkt bleiben die Absolutadressen der vorherigen Daten im Speicher 15 die gleichen, so dass der Grobeffekt eine Verschiebung der vorherigen Daten in Bezug auf die neuen Daten ist. Dieses Verfahren wird lediglich durch Verschieben des Relativadresszeigers gemäß dem Bewegungsvektor, jedoch in der entgegengesetzten Richtung durchgeführt. Somit werden die Relativadressen der Niedrig-Auflösungsdaten (verzerrt) gleich bleiben (beispielsweise Reihen 0, 4 usw., wie in 8 gezeigt ist), jedoch die Relativadressen der vorhergehenden Hochauflösungs-Rahmendaten werden sich in direkter Beziehung zum Bewegungsvektor ändern. Im Wesentlichen wird sich der reale Zugriffsbereich 15a des Speichers 15 mit jedem neuen Relativadresszeiger verschieben.
Mit jedem neune Bewegungsvektor bewegt sich der Relativadresszeiger um die gleiche Anzahl von Pixeln wie die Anzahl von Pixeln in der Horizontalkomponente des Bewegungsvektors. In der Vertikalrichtung bewegt sich jedoch der Relativadresszeiger um vier Mal so viele hochauflösende Pixel wie die Anzahl von niedrig-auflösenden Pixeln in der Vertikalkomponente des Bewegungsvektors (da es vier Mal so viele Pixel in der Vertikalrichtung des hochauflösenden Rahmens gibt wie im Niedrig-Auflösungsrahmen). Natürlich wird der Relativadresszeiger auf das am nächsten liegende Pixel entsprechend dem Bewegungsvektor abgerundet (oder der Bewegungsvektor wird abgerundet). Wenn folglich beispielsweise die Vertikalkomponente des Bewegungsvektors zwischen 1/8 und 3/8 der Größe eines ursprünglichen Niedrig-Auflösungspixels ist, wird sich der Relativadresszeiger um eine vertikale Einheit ändern. (Alternativen zu einem einfachen Abrunden des Bewegungsvektors werden später erläutert).
Fortfahrend mit 9 erzeugt das Schreiben der neuen Niedrig-Auflösungs-Bilddaten (verzerrt) in den Speicher 15 gemäß dem Relativadresszeiger (Schritt S8) einen neuen Hochauflösungsrahmen, der dann zum Vertikal-Tiefpassfilter 16 im Schritt S9 ausgelesen wird. Wenn im Schritt S10 bestimmt ist, dass die Niedrig-Auflösungsdaten nicht weiter an den Rahmenspeicher 11 angelegt werden, endet die Routine; andernfalls kehrt die Routine zurück zum Schritt S5, wo der Prozess für jeden nachfolgenden Rahmen der zugeführten Bilddaten wiederholt wird.
Folglich werden durch Wiederholung der Schritte S5 bis S9 mehrere Male ohne eine Szenenänderung die interpolierten Daten, welche die Lücken zwischen den Abtastzeilen-Abtastungen auffüllten, nacheinander durch Bildabtastungen ersetzt. Mehrere Rahmen nach einer Szenenänderung werden die Bildrahmen zu wirklichen Hochauflösungsbildern, und, wenn die höchste Frequenz in der Vertikalrichtung, die innerhalb des Ursprungsbilds enthalten ist, niedriger als ein 1/2 der Frequenz entsprechend 1/4 der Horizontalabtastperiode des verzerrten Bilds ist, wird das reproduzierte Bild keine Aliasing-Verzerrung in der Vertikalrichtung haben.
Gemäß 4 arbeitet das vertikale Tiefpassfilter 16 so, die Hochfrequenzkomponente in den Bilddaten vom Auflösungseinrichtungsspeicher 15 durch Filtern in der Vertikalrichtung mit einem Tiefpassfilter zu begrenzen. Der Zweck dieses Filterns besteht darin, Aliasing-Verzerrung zu verhindern, sogar dann, wenn das Bild, welches nachfolgend reproduziert wird, ein Bild niedriger Auflösung ist. Wenn beispielsweise lediglich eine Anzeigeeinrichtung mit niedriger Auflösung verfügbar ist, wird ein Bild niedriger Auflösung angezeigt, wobei trotzdem die Aliasing-Verzerrung beseitigt ist. Folglich wird, wenn das Bild nachfolgend reproduziert wird, der Zuschauer kein unnatürliches oder unscharfes, sich bewegendes Bild wahrnehmen. Das Ausgangssignal des vertikalen Tiefpassfilters 16 wird an den Rahmenspeicher 17 angelegt, der die gleiche Speicherkapazität des Zugriffsbereichs 15a des Speichers 15 hat. Der Rahmenspeicher 17 speichert vorübergehend die Bilddaten, die dann beispielsweise jede vierte Zeile gelesen werden, um ein Bild niedriger Auflösung mit der gleichen Anzahl von Zeilen wie das ursprüngliche verzerrte Bild zu erzeugen, wobei die Aliasing-Verzerrung beseitigt ist.
Folglich wird durch das oben beschriebene Verfahren die Bildqualität verbessert und es wird ermöglicht, die Nachteile, die bestimmte Signalverarbeitungsarbeitsweisen begleiten, beispielsweise Y/C-Trennung, Rauschreduzierung usw. zu verhindern.
Die Fachwelt wird schnell erkennen, dass das oben beschriebene Verfahren zum Bilden eines hochauflösenden Bilds von einem unterabgetasteten Bild gemäß dem Bewegungsvektor vom Rahmen zu Rahmen, danach das Filtern dieses Bilds mit einem vertikalen Tiefpassfilter und Lesen lediglich eines tief-auflösenden Bilds ein Ausgangsbild erzeugen wird, bei dem die Aliasing-Verzerrung beseitigt ist. Wenn dagegen die zugeführten Niedrig-Auflösungs-Bilddaten lediglich an ein vertikales Tiefpassfilter angelegt würden, könnte diese Aliasing-Verzerrungs-Beseitigung nicht realisiert werden.
Wenn die CRT 6 in der Lage ist, ein hochauflösendes Bild anzuzeigen, wobei mehr horizontale Abtastzeilen als diejenigen der unterabgetasteten Rahmen verwendet werden (beispielsweise vier Mal so viele Abtastzeilen), könnten die Bilddaten unmittelbar zur Anzeige ausgegeben werden. Damit würde für diesen Fall das vertikale Tiefpassfilter 16 nicht verwendet werden, die Daten würden unmittelbar zum Rahmenspeicher 17 geliefert werden und die Daten würden davon zur Anzeige zeilenweise bevorzugt als alle vier Zeilen gelesen.
Wenn die höchste Frequenz in der vertikalen Richtung, welche im Ursprungsbild enthalten ist, höher ist als 1/2 der Frequenz entsprechend 1/4 der horizontalen Abtastperiode, würde das Abtast-Theorem nicht das obige Verfahren zum Erzeugen von vier Mal so vielen Pixeln erfüllen, und die Aliasing-Verzerrung in der Vertikalrichtung würde nicht vollständig beseitigt werden. Trotzdem würde das Verfahren dahingehend noch nützlich sein, dass die Aliasing-Verzerrung im Wesentlichen reduziert wird.
Obwohl bei der obigen Ausführungsform die Anzahl von Pixeln in der Vertikalrichtung um einen Faktor vier vergrößert wird, können bei der Alternative mehr oder weniger Interabtast-Zeilenpixel erzeugt werden, entweder zum Zweck zum Anzeigen von Bildern niedriger Auflösung oder hoher Auflösung mit reduzierter Aliasing-Verzerrung.
Bei dem oben erläuterten Verzerrungs-Korrekturglied 4a wurde angenommen, das das gesamte Bild eines bestimmten Rahmens zusammen bewegt wird, d.h., in der gleichen Richtung und um den gleichen Abstand von Rahmen zu Rahmen. Anders ausgedrückt wurde angenommen, dass der Bewegungsvektor für alle Bereiche jedes Rahmens der gleiche war. Diese Annahme ist allgemein für bestimmte Anwendungen gültig, beispielsweise Schwenk- und Kipparbeitsweisen. In den meisten Videoanwendungen jedoch bewegen sich unterschiedliche Bereiche jedes Rahmens mit unterschiedlichen Raten und/oder in unterschiedlichen Richtungen. Die Ausführungsformen der vorliegenden Erfindung, die nachstehend beschrieben werden, sind in der Lage, die Aliasing-Verzerrung zu reduzieren, wobei diese unabhängige Bewegung in Betracht gezogen wird.
In 10 ist nun ein Blockdiagramm einer weiteren beispielhaften Ausführungsform eines Verzerrungs-Korrekturglieds gemäß der Erfindung zeigt. Das Verzerrungs-Korrekturglied 4b hat die Fähigkeit, Bewegung von Rahmen zu Rahmen für Mehrfachbereiche jedes Rahmens wahrzunehmen und Hochauflösungsrahmen auf der Basis der Bewegung zu erzeugen. Die Hochauflösungsrahmen können entweder dazu verwendet werden, Bilder niedriger oder hoher Auflösung zu erzeugen, wobei die Aliasing-Verzerrung in jedem Fall beseitigt ist.
Das Verzerrungs-Korrekturglied 4b weist im Wesentlichen den gleichen Rahmenspeicher 11, den Bewegungsdetektor 12, den Szenenänderungsdetektor 13, das vertikale Tiefpassfilter 16 und den Rahmenspeicher 17 wie oben für das Entzerrungs-Korrekturglied 4a beschrieben auf. Der Bewegungsdetektor 12 wurde oben so beschrieben, dass er betriebsfähig ist, einen Bewegungsvektor im aktuellen Rahmenobjektblock von beispielsweise 8 × 8 oder 16 × 16 Pixeln von dem vorhergehenden Rahmen bestimmen, indem Differenzen zwischen dem Objektblock und mehreren Referenzblöcken des vorherigen Rahmens analysiert werden. Im Verzerrungs-Korrekturglied 4a war der Bewegungsvektor eines Objektblocks ausreichend, um die Bewegung des gesamten Rahmenbilds zu bestimmen. Dagegen werden bei dem Verzerrungs-Korrekturglied 4b eine Anzahl von Bewegungsvektoren für jeden Rahmen bestimmt, wobei jeder einem unterschiedlichen Objektblock entspricht. Die Bewegungsvektoren der verschiedenen Objektblöcke werden einem Bereichsteiler 21 bereitgestellt, der den Rahmenbereich in mehrere Bereiche für unabhängige Verarbeitungsoperationen teilt. Diese Bereiche werden auf der Basis von den Bewegungsvektoren, den Unterschieden zwischen benachbarten Pixeln und mittels anderer notwendiger Operationen, beispielsweise Glätten, usw. bestimmt. Beispielsweise, wenn eine Szene ein festes oder langsam sich bewegendes Objekt aufweist, beispielsweise einen Hintergrund und ein sich schnell bewegendes Objekt, beispielsweise ein Flugzeug, würde der Bereichsteiler 21 einen ersten Bereich des Rahmens entsprechend dem Hintergrund definieren und einen zweiten Bereich entsprechend dem Flugzeug. In 10 ist ein Bereichsteiler 21 so angepasst, zwei Bereiche pro Rahmen zu definieren. Es soll jedoch verstanden sein, dass dieser alternativ so aufgebaut sein kann, bevorzugt jeden Rahmen unmittelbar in drei oder mehrere Bereiche als in zwei Bereiche zu teilen.
Wenn der Bereichteiler 21 die Bildbereiche für den aktuellen Rahmen definiert, steuert er das Auslesen von Bilddaten vom Speicher 11A des aktuellen Rahmens, indem er die Schalter 22A und 22B so steuert, dass lediglich Bilddaten vom ersten Bereich über den Schalter 22A zur temporären Speicherung in einem Speicher 23A geleitet werden, und lediglich Daten vom zweiten Bereich über den Schalter 22B zur Speicherung in den Speicher 23B geleitet werden. Der Bereichsteiler 21 liefert außerdem einen Bewegungsvektor für einen Bereich innerhalb des ersten Bereichs zur Steuerung 14A und einen Bewegungsvektor für einen Bereich innerhalb des zweiten Bereichs zur Steuerung 14B. Der Szenenänderungsdetektor 13 liefert Szenenänderungssignale zu den Steuerungen 14A und 14B. Die Steuerung 14A steuert das Schreiben von Daten vom Speicher 23A in den Auflösungseinrichtungsspeicher 15A, indem sie einen Relativadresszeiger auf der Basis des Bewegungsvektors im ersten Bereich für jeden Rahmen dynamisch ändert. Folglich werden zwischen Abtast-Zeilenpixel an Positionen entsprechend dem Bewegungsvektor im Wesentlichen in der gleichen Art und Weise wie oben beschrieben erzeugt. Ein hochauflösender Rahmen oder ein Rahmenbereich mit beispielsweise dem Vierfachen der Auflösung in der Vertikalrichtung wie dem in Rahmenspeicher 11A wird dadurch im Speicher 15A gebildet. In der gleichen Weise werden die Bilddaten des zweiten Rahmenbereichs vom Speicher 23B zum Speicher 15B unter der Steuerung der Steuerung 14B gemäß dem zweiten Bewegungsvektor übertragen, um einen hochauflösenden Rahmen oder Rahmenbereiche im Speicher 15B zu erzeugen. Das heißt, jede der Steuerungen 14A und 14B arbeitet in Verbindung mit den Speichern 15A bzw. 15B, wobei entsprechende Adresszeiger in der gleichen Art und Weise wie oben erläutert für die Steuerung 14 und den Speicher 15 von 4 dynamisch bestimmt werden, mit der Ausnahme, dass lediglich ein Bereich des Gesamtbilds verbessert wird und innerhalb jedes Speichers 15A und 15B gespeichert wird.
Die Daten jedes Hochauflösungsrahmens, welche innerhalb der Speicher 15A und 15B gebildet werden, werden zu einem Kombinierer 24 unter der Steuerung der Steuerungen 14A bzw. 14B übertragen. Der Kombinierer 24 kombiniert die Daten der beiden Rahmenbereiche, um Bilddaten eines zusammengesetzten Rahmens zu erzeugen und liefert diese zum vertikalen Tiefpassfilter 16. Somit sind die Ausgangsbilddaten des Kombinierers 24 ähnlich denjenigen des Speichers 15 im Verzerrungs-Korrekturglied 4a. Das vertikale Tiefpassfilter 16 und der Rahmenspeicher 17 führen die gleichen Verarbeitungen wie oben beschrieben durch, um ein niedrig-auflösendes Bild zu erzeugen, bei dem die Aliasing-Verzerrung beseitigt ist. Wenn umgekehrt ein hochauflösendes Bild gewünscht wird, kann das vertikale Tiefpassfilter umgangen werden oder mit einer anderen Frequenzantwort wie oben erläutert ausgebildet werden.
Obwohl die Verzerrungs-Korrekturglieder 4a und 4b so beschrieben wurden, dass sie betriebsfähig ist, Zwischenabtast-Zeilenpixeln in der Vertikalrichtung auf der Basis des Bewegungsvektors zu bilden (d.h., des Bewegungsvektors, welcher sowohl der vertikalen als auch der horizontalen Bewegung des Bilds entspricht), können ebenfalls Bilddaten für zusätzliche Pixel in der Horizontalrichtung gebildet werden. Das heißt, es können Hochauflösungspixel ebenfalls im Speicher 15 (oder den Speichern 15A, 15B) an Positionen zwischen Niedrig-Auflösungs-Pixelpositionen in der Horizontalrichtung in einer analogen Art und Weise wie für die Vertikalrichtung beschrieben gebildet werden. Als Ergebnis kann die Aliasing-Verzerrung in der Horizontalrichtung weiter beseitigt werden, und es kann ebenfalls eine höhere Auflösung horizontal erzielt werden.
Es besteht ein Spezialfall, bei dem ein Zugriffsbereich aus dem Speicherbereich des Auflösungseinrichtungsspeichers 15 (15A, 15) gemäß der Position des Relativadresszeigers anschwillt. Aus diesem Grund können die Daten des angeschwollenen Bereichs durch Expandieren des Speicherbereichs des Auflösungseinrichtungsspeichers in einem Nachbarbereich gehalten werden. Wenn man annimmt, dass X ≥ P_N' ist, und Y ≥ P_C' ist, wird, wenn eine Position, welche durch eine Absolutadresse (X, Y) ausgedrückt wird, im Zugriffsbereich enthalten ist, die Position an einer Absolutadresse (mod(X, P_N'), mod X, P_V') im Speicherbereich des Speicherbereichs gehalten werden, wo (mod (a, b) den Rest ausdrückt, wenn "a" durch "b" geteilt wird). Ein weiterer Weg, die angeschwollenen Daten zu halten, besteht darin, den Zugriffsbereich einschließlich der neuesten Daten, die darin enthalten werden, durch die Steuerung 14 umzuordnen, die alle Daten zu einem Pufferspeicher überträgt und dann diese in einen neuen Zugriffsbereich unter Verwendung eines neuen Adresszeigers umschreibt.
Bei den oben erläuterten Ausführungsformen werden die Hochauflösungsrahmen über die Annahme von Zwischenabtast-Zeilenpixeln an Positionen erzeugt, welche den Bewegungsvektoren entsprechen. Die Hochauflösungsrahmen werden dann dazu verwendet, entweder Bilder niedriger oder hoher Auflösung zu erzeugen, wobei die Aliasing-Verzerrung reduziert (oder beseitigt) ist.
Neben der Beseitigung der Aliasing-Verzerrung hat die vorliegende Erfindung weitere Anwendungen, beispielsweise das Erzeugen vergrößerter Bilder mit verbesserter Auflösung oder das Umsetzen eines Bilds niedriger oder Standardauflösung (anschließend als ein SD-Bild bezeichnet) in ein Bild höherer Auflösung (anschließend als HD-Bild bezeichnet).
In 11 ist ein Blockdiagramm einer beispielhaften Ausführungsform eines Fernsehempfängers 100 gezeigt, der ein Fernsehsignal, welches ein SD-Bild enthält, in ein HD-Bild zur Anzeige umsetzt. Der Empfänger 100 unterscheidet sich gegenüber dem Empfänger 10 von 1, indem ein Auflösungsumsetzer 34 anstelle des Verzerrungs-Korrekturglieds 4 und eine Hochauflösungs-CRT 36 anstelle der CRT 7 verwendet wird. Die anderen Komponenten sind die gleichen wie diejenigen des Empfängers 10, wenn ein Y/C-Umsetzer (nicht gezeigt) üblicherweise entweder zwischen dem Auflösungsumsetzer 34 und dem D/A-Umsetzer 6 oder zwischen dem Tiefpassfilter 2 und dem A/D-Umsetzer 3 verwendet wird.
12 ist ein Blockdiagramm einer Ausführungsform des Auflösungsumsetzers 34. Der Auflösungsumsetzer 34 ist in vielerlei Hinsicht ähnlich dem Verzerrungs-Korrekturglied 4b von 10, dahingehend, dass er arbeitet, den Bereich eines Rahmens niedriger Auflösung gemäß unterschiedlicher Bewegung in entsprechende Bereiche zu teilen, ein Bild hoher Auflösung für jeden Bereich erzeugt und die Bilder hoher Auflösung für jeden Bereich kombiniert, um ein zusammengesetztes Bild zu erzeugen. Der Auflösungsumsetzer 34 ist so ausgebildet, die Auflösung in sowohl horizontaler als auch in vertikaler Richtung zu verbessern, wobei Pixel an Positionen zwischen benachbarten horizontalen Pixeln wie auch zwischen benachbarten vertikalen Pixeln des SD-Bilds auf der Basis der Bewegungsvektoren für jeden Rahmen gebildet werden. Der Umsetzer 34 kann einige der Hochauflösungspixel durch eine Klassifikation und ein adaptives Verarbeitungsverfahren, was später ausführlicher erläutert wird, erzeugen.
Der Auflösungsumsetzer 34 besitzt den Rahmenspeicher 11, den Bewegungsdetektor 12 und den Szenenänderungsdetektor 13, wie oben beschrieben, sowie den Teiler 21', der der gleiche ist wie der Bereichsteiler 21 von 10, mit der Ausnahme, dass der Teiler 21' jeden Rahmen bevorzugt in M Rahmenbereiche als unmittelbar in zwei Bereiche teilt. Jeder der M-Hochauflösungs-Objektgeneratoren arbeitet so, um ein Hochauflösungsobjekt für einen entsprechenden der Rahmenbereiche zu erzeugen, die durch den Bereichsteiler 21' definiert sind. Jeder Objektgenerator 21i (i = 1, 2, ... M) weist einen Schalter 22i, einen Pufferspeicher 23i, eine Steuerung 14i, einen Auflösungseinrichtungsspeicher 15i, einen Schreibflagspeicher 42i und einen Pixelgenerator 43i auf.
Jeder Schreibflagspeicher 42i speichert die gleiche Anzahl von Schreibflags wie die Anzahl von Pixeln, welche im damit verknüpften Auslösungseinrichtungsspeicher 15i gespeichert sind. Das Schreibflag ist ein Einbitflag, welches bestimmt, ob Pixeldaten eines SD-Bilds in einer entsprechenden Adresse des Speichers 15i gespeichert sind (beispielsweise ist das Flag eine 1, wenn Pixeldaten in der Adresse gespeichert sind, und 0, wenn dies nicht so ist). Das Schreibflag wird durch die Steuerung 14i so gesteuert, um gesetzt/zurückgesetzt zu werden.
In 13 ist jeder Auflösungseinrichtungsspeicher 15i mit einem Speicherbereich festgelegt, der in der Lage ist, Pixeldaten von P_H' Pixeln in der horizontalen Richtung und P_V' Pixel in der vertikalen Richtung zu speichern, wobei P_H' = 2P_H und P_V' = 2P_V, wobei P_H und P_V die Anzahl von Pixeln in der horizontalen bzw. vertikalen Richtung eines SD-Rahmens sind, der im Rahmenspeicher 11 gespeichert ist. In diesem Beispiel ist der Speicher 15i in der Lage, Pixeldaten von mehr als dem Zweifachen von Pixeln in der vertikalen Richtung und mehr als dem Zweifachen von Pixeln in der horizontalen Richtung als SD-Bild zu speichern. Der Speicherzugriffsbereich 15ai besteht aus Speicherstellen, um Pixeldaten von 2P_H × 2P_V Pixeln zu speichern.
Eine Prozedur zum Schreiben eines Rahmens von SD-Daten in den Auflösungseinrichtungsspeicher 15i wird nun mit Hilfe des Flussdiagramms von 14 beschrieben. Im Schritt S11 wird, wenn der Szenenänderungsdetektor 13 entweder eine Szenenänderung oder den Empfang des ersten Datenrahmens ermittelt, ein Szenenänderungssignal jeder Steuerung 14₁ bis 14_M bereitgestellt. Jede Steuerung 14i löscht den damit verknüpften Speicher 15i im Schritt S12 (löschen vorheriger Rahmenpixeldaten) und setzt alle Schreibflags im Schreibflagspeicher 41i auf einen Anfangswert zurück (Schritt S13). Die verzerrten SD-Bilddaten des damit verknüpften Rahmenbereichs des Speichers 11A des vorherigen Rahmens werden dann in den Speicher 15i geschrieben (Schritt S14), indem der Schalter 22i in passenden Zeitpunkten bei einer Rahmendaten-Leseoperation vom Rahmenspeicher 11A geschlossen wird. Somit werden lediglich die Bilddaten im damit verknüpften Bereich, welche durch den Bereichsteiler 21' definiert sind, über den Schalter 22i und den Speicher 23i übertragen. Insbesondere werden die SD-Daten in den Zugriffsbereich des Speichers 15i bei jeder weiteren Pixelposition sowohl in der horizontalen als auch der vertikalen Richtung geschrieben. Somit wird beispielsweise angenommen, dass SD-Rahmen mit M Pixelreihen (Reihe 1 bis M) mit N Pixelspalten (Spalte 1 bis N) eingerichtet sind, und der Zugriffsbereich des Speichers 15i eine Speichergruppe ist, welcher 2M Reihen (Reihe 1 bis 2M) mit 2N Spalten (Spalte 1 bis 2N) entspricht. Wenn dann die Daten des Pixels 1, 1 entsprechend der Reihe 1, der Spalte 1 des SD-Rahmens zum Objektgenerator 41i übertragen werden, werden diese zunächst an der Speicherstelle des Zugriffsbereichs gespeichert, die dem HD-Pixel der Reihe 2, der Spalte 2 des Zugriffsbereichs entspricht. Vorzugsweise wird diese Speicherstelle ebenfalls die Reihe 2, Spalte 2 in der Speichergruppe sein, um die Pixelbildung zu erleichtern. Ähnlich werden die SD-Daten des Pixels 2, 2 des SD-Rahmens zunächst in Reihe 4, Spalte 4 des Zugriffsbereichs usw. gespeichert. Schreibflags werden gleichzeitig für jede der HD-Speicherstellen eingestellt, bei denen die SD-Daten gespeichert sind. Die Bilddaten werden aus dem Speicher 15i durch den Pixelgenerator 43i in diesem Zeitpunkt gelesen, jedoch nicht aus dem Speicher 15i gelöscht, da sie verwendet werden, um Teil des nächsten Hochauflösungsrahmens zu bilden (bei Abwesenheit einer Szenenänderung).
Wenn im Schritt S11 kein Szenenänderungssignalempfangen wird, empfängt im Schritt S16 jede Steuerung 14i den Bewegungsvektor vom Bereichsteiler 21', der der Bewegung im verknüpften Bildbereich des vorhandenen Rahmens entspricht. Die Steuerung 14i berechnet einen neuen Relativadresszeiger R_P, der dem Bewegungsvektor entspricht und liefert diesen zum Auflösungsumsetzungsspeicher 15i. Die Routine läuft dann weiter zum Schritt S14, wo die verzerrten Bilddaten des aktuellen Rahmens in den Speicher 15i gemäß dem Relativadresszeiger, der somit bestimmt ist, geschrieben werden, wodurch Daten, die vorher im vorherigen Rahmen des Speichers 15i gespeichert sind, in Bezug auf die neuen Daten verschoben werden (da die Daten des vorherigen Rahmens an den gleichen Stellen gemäß dem vorherigen Adresszeiger gespeichert bleiben, während Daten des aktuellen Rahmens gemäß dem neuen Adresszeiger gespeichert werden). Wie oben erläutert werden einige der vorher gespeicherten Daten üblicherweise in diesem Schritt überschrieben. Es werden dann Schreibflags für die Speicherstellen gesetzt, bei denen neue Daten im Schritt S15 gespeichert werden (wenn sie nicht schon vorher gesetzt wurden).
Da folglich der Schreibprozess rahmenweise in jedem Auflösungseinrichtungsspeicher 15i weiterläuft, nähert sich ein HD-Bild, welches eine zwei Mal so große Auflösung wie das entsprechende SD-Bild sowohl in der horizontalen als auch der vertikalen Richtung hat, allmählich der Vollendung.
Um weiter die Bildung eines HD-Bilds zu erzeugen, wird auf 15 bezuggenommen, welche die Zwischenrahmenbewegung eines kleinen festen dreiecksförmigen Objekts 47 und die damit verbundene Speicherung der Pixeldaten, die dieses zeigen, zeigt. Die linke Seite der Figur zeigt eine Gruppe von SD-Pixeln P_SD, die dem Objekt 47 überlagert sind, während die rechte Seite Speicherstellen MC innerhalb der Zugriffsbereiche 15a_N bis 15a_(N+3) für die Rahmen N bis (N + 3) entsprechend zeigt. Bei dem Bild niedriger Auflösung zeigen die SD-Pixel P_SD innerhalb des begrenzten Bereichs des Objekts 47 das Objekt, welches beispielsweise mehr oder weniger Luminanz hat und/oder welches eine andere Farbe als die benachbarten Pixel hat. In jedem Fall wird angenommen, dass das Objekt 47 durch Pixel a, b, c, d und e im Rahmen N dargestellt wird, durch Pixel f, g im Rahmen (N + 1), durch Pixel h, i, j, k im Rahmen (N + 2) und durch Pixel 1, m im Rahmen (N + 3), wobei sich die Pixel rahmenweise aufgrund der Zwischenrahmenbewegung ändern.
Gemäß dem oben beschriebenen Verfahren werden die SD-Pixeldaten in Zugriffsbereiche 15a_N bis 15a_(N+3) in den schraffierten Bereichen in abwechselnde Speicherstellen geschrieben. Im Rahmen N werden die Speicherstellen (a' bis e') mit Pixeldaten aufgefüllt, welche den SD-Pixeln (a bis e) entsprechen. Zwischen den Rahmen N und N + 1 bewegt sich das Objekt nach oben um 1/2 des SD-Pixelabstands (Spalt zwischen den Mittelpunkten von benachbarten SD-Pixeln), so dass der Relativadresszeiger R_P des Rahmens N + 1 sich nach unten um eine HD-Pixelspeicherstelle wie gezeigt bewegt, und die Pixeldaten für Pixel f und g geschrieben werden. In der Zwischenzeit bleiben die absoluten Speicherstellen, welche die Pixeldaten (a'–e') speichern, die gleichen im Rahmen N + 1. Somit sieht man, dass, während die Pixel f und g an der gleichen Stelle im SD-Bild sind, die entsprechenden "Pixel" b' und g' in Bezug zueinander im Zugriffsbereich 15a_(N+1) , welche das HD-Bild bilden, verschoben sind. Der Prozess läuft weiter, wenn sich der Adresszeiger R_P sich von seiner vorherigen Position in die entgegengesetzte Richtung wie die Objektbewegung bewegt, bis ein vollständiges HD-Bild im Rahmen (N + 3) gebildet ist. Es wird angemerkt, dass es mehrere Rahmen braucht, um ein vollständiges HD-Bild auf Basis lediglich der Erzeugung von HD-Pixeldaten gemäß dem Bewegungsvektor zu erzeugen, wenn das Objekt still bleiben würde oder wenn die Bewegung von Rahmen zu Rahmen leicht ist.
16 ist ein Flussdiagramm, welches eine Routine zum Lesen von Bilddaten vom Hochauflösungs-Objektgenerator 41i zeigt. Die Leseroutine schließt sich an die Routine von 14 an, jedes Mal, wenn neue Bilddaten in den Speicher 15i geschrieben werden, d.h., jedes Mal, wenn das Schreiben von Daten für einen bestimmten Rahmen beendet ist. Im Schritt S21 liest die Steuerung 14i Bilddaten von Speicherstellen des Zugriffsbereichs 15i und liefert die Daten zum Pixelgenerator 23. Im Schritt S22 bestimmt der Pixelgenerator 23 auf der Basis der Schreibflags im Schreibflagspeicher 42i, ob Bilddaten für ein bestimmtes Hochauflösungspixel gespeichert sind oder nicht, welches einer bestimmten Adresse entspricht. Beispielsweise, wenn man 15 betrachtet, wenn man annimmt, dass der Rahmen N dem ersten Rahmen nach einer Szenenänderung entspricht, enthalten die Speicherstellen c' und d' gespeicherte Bilddaten, jedoch ist die Speicherstelle 48 zwischen c' und d' leer. Somit würde das Schreibflag für c' und d' auf 1 gesetzt, während dieses für Speicherstelle 48 auf 0 gesetzt würde. Somit müssen vor dem Anzeigen der Bilddaten für einen aktuellen Rahmen, beispielsweise den Rahmen N, Pixeldaten für HD Pixel erzeugt werden, welche den leeren Speicherstellen wie 48 entsprechen.
Daher werden im Schritt S23 die Bilddaten durch den Pixelgenerator 43i erzeugt, wenn die betrachtete Speicherstelle leer ist, wie durch das damit verknüpfte Schreibflag angezeigt wird. Die Bilddaten können in verschiedener Weise erzeugt werden, beispielsweise durch Interpolation zwischen benachbarten Pixeln oder durch ein komplexeres Vorhersage verfahren, beispielsweise ein Klassifikations- und adaptives Verarbeitungsverfahren, die anschließend erläutert werden. In einem Fall, wenn die Bilddaten für das betrachtete Pixel erzeugt werden (oder unmittelbar vom Speicher 15i gelesen werden, wenn diese schon darin gespeichert sind), werden die Pixeldaten für dieses Pixel vom Objektgenerator 41i im Schritt S24 ausgegeben und zum Kombinierer 24 geliefert. Wenn alle Bilddaten des betrachteten Hochauflösungsrahmens dazu bestimmt sind, dass sie im Schritt S25 gelesen sind, ist der Leseprozess für diesen Rahmen beendet. Andernfalls kehrt die Routine zum Schritt S21 zurück, um Daten von der nächsten Speicherstelle zu lesen und noch einmal Pixeldaten, wenn notwendig, zu bilden.
17 zeigt ein vereinfachtes Flussdiagramm für den Verarbeitungsschritt 23 zum Erzeugen von Bilddaten für Pixel, welche den leeren Speicherstellen entsprechen, ob durch Interpolation oder durch ein Vorhersageverfahren. Im Schritt S31 wird auf der Basis der Schreibflags bestimmt, ob benachbarte Pixel gegenüber dem Pixel, das betrachtet wird, gespeicherte Pixeldaten innerhalb des Speichers 15i enthalten. Danach werden die Daten im Schritt S32 von den Speicherstellen im Zugriffsbereich 15ai entsprechend diesen benachbarten Pixeln gelesen. Die Pixeldaten für das betrachtete Pixel werden dann im Schritt S33 auf der Basis der benachbarten Pixeldaten erzeugt.
Erzeugung von Pixeldaten durch einen adaptiven Prozess
Wenn ein Hochauflösungsrahmen im Auflösungseinrichtungsspeicher 15i leere Speicherstellen wie oben beschrieben hat, kann ein einfaches Interpolationsverfahren, um Pixeldaten für die leeren Speicherstellen zu erzeugen, ausreichend sein, Hochfrequenzkomponenten des Ursprungsbilds wiederzuerlangen. Die Anmelderin hat vor kurzem eine Bildumsetzereinrichtung vorgeschlagen, welche ein SD-Bild in ein HD-Bild umsetzt, welches eine Hochfrequenzkomponente enthält, die im SD-Bild nicht enthalten war. Siehe US-PS 5 517 588 mit dem Titel "Digital Data Conversion Equipment and a Method for the same", ausgegeben am 14. Mai 1996. Folglich kann der gleiche oder ein ähnlicher adaptiver Prozess durch den Pixelgenerator 43i verwendet werden, um Pixeldaten für die leeren Speicherstellen zu erzeugen. Das heißt, der adaptive Prozess kann verwendet werden, um "Füll"-Pixel zusätzlich zu denjenigen zu erzeugen, welche mittels angenommener Pixel an Stellen erzeugt werden, die der ermittelten Bildbewegung entsprechen. Ein beispielhafter adaptiver Prozess, diese Pixelbildung auszuführen, wird anschließend beschrieben.
Der adaptive Prozess bestimmt einen Vorhersagewert eines Pixels eines HD-Bilds auf Basis linearer Kopplung zwischen einem SD-Bild und einem vorher festgelegten Schätzungskoeffizienten. Beispielsweise kann ein Vorhersagewert E[y] eines Pixelwerts y eines HD-Pixels, um ein HD-Bild zu bilden, unter Verwendung eines linearen Kombinationsmodells bestimmt werden. Dieses Modell ist durch eine lineare Kombination von Pixelwerten von SD-Pixeln definiert (anschließend als Lerndaten bezeichnet), x₁, x₂, ..., und vorher festgelegten Vorhersagekoeffizienten w₁, w₂ .... Für diesen Fall wird der Vorhersagewert E[y] wie folgt ausgedrückt: E[y] = w1x1 + w2x2 + ... (3)
Um obiges zu verallgemeinern, wird angenommen, dass eine Matrix Y' aus einem Satz der Vorhersagewerte E[y] für y = y₁ bis y_n besteht. Das heißt, die Matrix Y' ist als Produkt einer Matrix W definiert, welche ein Satz von Vorhersagekoeffizienten w ist, und einer Matrix X, die ein Satz von Lerndaten ist. Es wird somit eine Beobachtungsgleichung wie folgt erhalten: XW = Y' (4)wobei
Ein Verfahren zum Herausfinden eines Vorhersagewerts E[y], der eng an einem HD-Pixelwert y ist, erfordert die Anwendung des Verfahrens der kleinsten Quadrate in Bezug auf die Beobachtungsgleichung (4). Aus diesem Fall wird die Matrix Y' als die Summe der Matrix Y und einer Matrix E betrachtet, wobei die Matrix Y aus einem Satz realer HD-Pixelwerte besteht (als Lehrer-Daten zu verwenden) und die Matrix E aus einem Satz von Rest-"e" der Vorhersagewerte E[y] besteht. Die folgende Restgleichung wird somit aus der Gleichung (4) hergeleitet: XW = Y + Ewobei
Der Quadratwurzelfehler ist als Summe der Quadrate der Reste definiert, d.h.,
Damit kann der Vorhersagekoeffizient w₁ zum Erlangen eines Vorhersagewerts E[y] eng an einem HD-Pixelwert durch Minimieren des Quadratwurzelfehlers der Gleichung (6) herausgefunden werden.
Wenn Quadratwurzelfehler mit dem Vorhersagekoeffizienten w₁ differenziert wird, ist, wenn das Ergebnis gleich 0 ist, der Wert für w₁, der die folgende Gleichung (7) erfüllt, der optimale Wert, um einen Vorhersagewert E[y] in der Nähe des HD-Pixelwerts herauszufinden:
Wenn die Gleichung (6) mit dem Vorhersagekoeffizienten w₁ differenziert wird, wird die folgende Gleichung (8) erhalten:
Aus den Gleichungen (7) und (8) wird die folgende Gleichung (9) hergeleitet:
Wenn die Beziehungen unter den Lerndaten x, den Vorhersagekoeffizienten w, den Lehrer-Daten y und den Resten e betrachtet werden, kann ein Satz von Vorhersagegleichungen (10) wie folgt erhalten werden:
Die Anzahl von Gleichungen im Gleichungssatz (10) entspricht der Anzahl von Vorhersagekoeffizienten w. Die optimalen Vorhersagekoeffizienten w können durch Lösen der Gleichungen (10) erhalten werden, welche durch ein herkömmliches Verfahren gelöst werden können, beispielsweise durch Verwendung des Gauss-Jordan-Löschverfahrens. Es sei angemerkt, das für die Gleichungen (10), um lösbar zu sein, eine Matrix, welche aus den Vorhersagekoeffizienten w zusammengesetzt ist, eine reguläre Matrix sein sollte.
Folglich wurden mit dem oben beschriebenen adaptiven Prozess optimale Vorhersagekoeffizienten w für den Zweck erhalten, einen optimalen Vorhersagewert E[y] herzuleiten, der eng an dem HD-Pixelwert ist (d.h., eng an dem HD-Pixelwert, der existieren würde, wenn bevorzugter ein HD-Signal durch den Fernsehempfänger als ein SD-Signal ursprünglich empfangen wurde). Der adaptive Prozess ist gegenüber einem Interpolationsprozess dahingehend verschieden, dass eine Hochfrequenzkomponente eines Ursprungsbilds, die in einem SD-Bild nicht vorhanden ist, jedoch im HD-Bild enthalten ist, wiederhergestellt werden kann. Der adaptive Prozess ist, soweit lediglich die Gleichung (1) betroffen ist, ähnlich einem Interpolationsprozess, bei dem ein Interpolationsfilter verwendet wird. Für den adaptiven Prozess kann jedoch der Vorhersagekoeffizient, der einem Anzapfungskoeffizienten des Interpolationsfilters entspricht, durch Lernen unter Verwendung von Lehrer-Daten erlangt werden. Folglich kann die Hochfrequenzkomponente, welche im HD-Bild enthalten ist, schnell wiederhergestellt werden, um ein hochauflösendes Bild zu erlangen.
Wendet man sich nun 18 zu, so ist dort ein Blockdiagramm einer Bildumsetzereinrichtung 200 zum Umsetzen eines SD-Bilds in ein HD-Bild gezeigt. Die Einrichtung 200 kann als Teil des Pixelgenerators 43i verwendet werden, um HD-Pixeldaten, wenn notwendig, zu erzeugen, d.h., wenn eine HD-Pixelspeicherstelle im Auflösungseinrichtungsspeicher leer ist. Ein zugeführtes SD-Bildsignal wird sowohl an einen adaptiven Prozessor 204 als auch an eine Klassifikationsschaltung 201 angelegt, wobei die letztere aus einem Klassenanzapfungsgenerator 202 und eine Klassenbestimmungsschaltung 203 besteht. In der Klassifikationsschaltung 201 wird ein HD-Pixel, dessen Vorhersagewert im adaptiven Prozess zu finden ist (anschließend als Markierungspixel bezeichnet), in eine vorher festgelegte Klasse auf der Basis von Kenndaten eines Satzes von SD-Pixeln in einer engen vorher festgelegten Positionsbeziehung zum Markierungspixel klassifiziert. Die Pixelwerte für diesen Satz von SD-Pixeln, die mit dem Markierungs-HD-Pixel verknüpft sind, werden als Klassenanzapfungen des Markierungspixels bezeichnet.
Die Klassenanzapfungen auf der Basis des zugeführten SD Bilds werden innerhalb des Klassenanzapfungsgenerators 202 extrahiert und der Klassenbestimmungsschaltung 203 bereitgestellt, welche ein Muster des Satzes der SD-Pixel ermittelt, welche Klassenanzapfungen für jedes Markierungspixel bilden. Das Muster basiert auf den Kenndaten eines jeden der Pixel im Satz, die eine Funktion der Pixelwerte sind. Beispielsweise kann ein Muster der Ebenheit der Pixel entsprechen, ein zweites kann Pixelwerten entsprechen, die in einer oberen rechten Richtung ansteigen, ein drittes kann Pixelwerten entsprechen, welche in einer unteren linken Richtung ansteigen, usw.. Ein Wert, der vorher dem ermittelten Muster zugeordnet ist, wird darin zum adaptiven Prozessor 204 geliefert, um die Klasse des Markierungspixels anzuzeigen.
19 zeigt die gegenseitige Position von Klassenanzapfungen in Bezug auf damit verbundenen HD-Pixeln. Es wird angenommen, dass ein HD-Bild aus den Pixeln zusammengesetzt ist, die als x's markiert sind, und dass ein entsprechendes SD-Bild aus Pixeln zusammengesetzt ist, die als O's markiert sind. Das gezeigte SD-Bild enthält somit ein viertel der Anzahl von Pixeln wie das HD-Bild. Die Abstände zwischen den Mittelpunkten der HD-Spalten und zwischen den HD-Reihen sind halb so groß wie die für die SD-Spalten und Reihen. In 19 wird ein SD-Pixel an einer Position (i + 1) von der linken Seite (SD-Spalte i + 1) und (j + 1) vom Kopf (SD-Reihe (j + 1)) ausgedrückt als X_ij. Ähnlich wird ein HD-Pixel, welches in der HD-Spalte (i' + 1) und der HD-Reihe (j' + 1) positioniert ist, ausgedrückt als Y_ij. Somit stimmen beispielsweise die Position des SD-Pixels X_ij und des HD-Pixels Y_(2i)(2j) miteinander überein. (Es sei hier angemerkt, dass die "Klassenanzapfungen" und die "Vorhersageanzapfungen" aktuelle Bilddatenwerte für bestimmte Pixel sind. Um jedoch die Beschreibung zu vereinfachen, werden die "Anzapfungen" so beschrieben, als ob diese die Pixel selbst sind, und umgekehrt).
Um zu zeigen, wie Klassenanzapfungen definiert sind, wird angenommen, dass ein Markierungspixel das HD-Pixel Y₄₄ ist, welches die identische Position wie das SD-Pixel X₂₂ hat. Die Klassenanzapfungen für dieses Markierungspixel sind die nächsten neun SD-Pixel innerhalb eines 3 × 3 SD-Pixelquadrats um die Mitte des HD-Markierungspixels Y₄₄. Somit sind in 19 die Klassenanzapfungen die SD-Pixel innerhalb des Bereichs, welche durch die Grenze TC definiert ist, d.h., die SD-Pixel X₁₁, X₂₁, X₃₁, X₁₂, X₂₂, X₃₂, X₁₃, X₂₃, X₃₃. Der Klassenanzapfungsgenerator 202 extrahiert die Pixelwerte für diese SD-Pixel als die Klassenanzapfungen für das Markierungspixel. Für den Fall, bei dem das Markierungspixel einem HD-Pixel benachbart ist, welches mit einem SD-Pixel übereinstimmt, können die gleichen Klassenanzapfungen wie für das übereinstimmende HD-Pixel bestimmt werden. Somit können beispielsweise, wenn das Markierungspixel entweder Y₅₄, Y₅₅, Y₄₅ usw. ist, die Klassenanzapfungen für jedes dieser HD-Pixel gleich sein wie diejenigen für das "übereinstimmende" HD-Pixel Y₄₄. Es außerdem möglich, unterschiedliche Klassenanzapfungen für nicht übereinstimmende Pixel zu bilden, beispielsweise Y₅₄, Y₅₅ oder Y₄₅.
In der Klassifikationsschaltung 203 werden die Muster der Klassenanzapfungen eines markierten Pixels ermittelt (wobei die Klassenanzapfungen durch den Klassenanzapfungsgenerator 202 bereitgestellt werden). Anders ausgedrückt werden das Muster, beispielsweise die Ebenheit usw. der neuen SD-Pixel in enger relativer Beziehung zum Markierungspixel ermittelt, um sicher zustellen, welche Klasse dem Markierungspixel zugeteilt werden sollte. Ein Pixelwert, der dem ermittelten Muster entspricht, wird dann als Klasse des Markierungspixels ausgegeben und zum Adressanschluss (AD) eines Nur-Lese-Speichers (ROM) 207 für Koeffizienten in einem adaptiven Prozessor 204 geliefert.
Üblicherweise werden 8 Bits oder dgl. einem Pixel, welches ein Bild bildet, zugeordnet. Unter Annahme, dass 8 Bits beispielsweise einem SD-Pixel zugeordnet sind, wenn neun SD-Pixel für die Klassenanzapfungen verwendet werden, wie im Beispiel von 19, ist die Anzahl möglicher Pixelwerte pro Klassenanzapfung gleich (2⁸)⁹. Folglich wird die Fähigkeit, Musterermittlungsverarbeitungsoperationen mit hoher Geschwindigkeit durchzuführen, verhindert.
Daher ist es, bevor die Klassifikation durchgeführt wird, wünschenswert, die Anzahl von Bits, welche einem SD-Pixel einer Klassenanzapfung zugeordnet werden, zu vermindern. Beispielsweise kann die adaptive dynamische Bereichscodierung (ADRC) ausgeführt werden, um diese Bitreduzierung durchzuführen. Als erster Schritt im ADRC-Prozess werden ein Pixel, welches den maximalen Pixelwert hat, von neun SD-Pixeln, die einen Pro zessblock bilden (anschließend als Maximalpixel bezeichnet), und ein Pixel, welches den Minimalpixelwert im Prozessblock hat (anschließend als Minimalpixel bezeichnet) ermittelt. Die Differenz DR zwischen dem Pixelwert MAX des Maximalpixels und dem Pixelwert MIN des Minimalpixels wird dann berechnet. Der Wert DR wird als lokaler dynamischer Referenzwert des Prozessblocks bestimmt, und die jeweiligen Pixelwerte, die den Prozessblock bilden, werden wiederum mit einer kleineren Anzahl K von Bits für jedes Pixel als die ursprünglich zugeteilte Anzahl von Bits quantisiert. Anders ausgedrückt wird der Pixelwert MIN des Minimalpixels von entsprechenden Pixelwerten, die den Prozessblock bilden, subtrahiert, und die jeweiligen Subtraktionsergebnisse werden durch DR/2K dividiert. Als Ergebnis können entsprechende Pixelwerte, die den Prozessblock bilden, durch K Bits ausgedrückt werden. Somit ist beispielsweise, wenn K = 1, die maximale Anzahl von Mustern von neun SD-Pixeln gleich (2¹)⁹. Folglich wird die maximale Anzahl von Mustern im Vergleich zu der, wenn die ADRC-Verarbeitung nicht durchgeführt wird, stark vermindert.
Wenn man mit der Beschreibung von 18 fortfährt, so wird der adaptive Prozess innerhalb des adaptiven Prozessors 204 durchgeführt, der den Vorhersageanzapfungsgenerator 205, den Vorhersagewertrechner 206 und den Vorhersagekoeffizienten-ROM 207 aufweist. Im Vorhersageanzapfungsgenerator 205 werden Daten einer Anzahl von SD-Pixeln extrahiert, die in einer gegenseitigen Position zum Markierungspixel sind. Diese extrahierten Pixel werden als Vorhersageanzapfungen x1, x2, ... zum Vorhersagewertrechner 206 geliefert, der einen Vorhersagewert für ein HD-Pixel auf der Basis von Vorhersagekoeffizienten und die Vorhersageanzapfungen bestimmt.
Die Vorhersageanzapfungen entsprechen den Pixeln, die hohe Positionskorrelation mit dem HD-Markierungspixel haben. Beispielsweise kann, wenn das Markierungspixel das Pixel Y₄₄ ist, wie in 19 gezeigt ist, und die Klassenanzapfungen innerhalb der Grenze T_C wie oben erklärt gebildet sind, der Vorhersageanzapfungsgenerator 205 die Vorhersageanzapfungen als Block von 5 × 5 SD-Pixeln festlegen, die in den Bereich fallen, der durch die Grenze T_P umschlossen ist, d.h., den SD-Pixeln X₀₀ bis X₄₄. Wenn das Markierungspixel ein Pixel benachbart zu Y₄₄ ist, beispielsweise dem Pixel Y₅₄, Y₄₅ oder Y₅₅, werden die gleichen Vorhersageanzapfungen wie die für das Pixel Y₄₄ gebildet, d.h., die den Pixeln X₀₀ bis X₄₄ entsprechen. Es ist jedoch möglich, unterschiedliche Vorhersageanzapfungen zu definieren, wenn ein nicht übereinstmmendes Pixel, beispielsweise Y₄₅, Y₅₄ oder Y₅₅ das Markierungspixel ist.
Der Vorhersagekoeffizient-ROM 207 speichert Vorhersagekoeffizienten, welche durch Lernen herausgefunden wurden, welches vorher durch Klassen durchgeführt wurde. Wenn der ROM 207 eine Klasse empfängt, welche von der Klassifikationsschaltung 203 geliefert wird, liest der ROM 207 Vorhersagekoeffizienten, welche in einer Adresse darin gespeichert sind, entsprechend der zugeführten Klasse, und liefert den Vorhersagekoeffizient (Koeffizienten) zum Vorhersagewertrechner 206.
Folglich werden die Vorhersageanzapfungen, welche einem Markierungspixel entsprechen, und der Vorhersagekoeffizient (Koeffizienten), der der Klasse des Markierungspixels betrifft, beide zum Rechner 206 geliefert. Innerhalb des Rechners 206 wird ein Betrieb gemäß der Gleichung (3) oben unter Verwendung der Vorhersagekoeffizienten w1, w2, ..., die vom ROM 207 empfangen werden, und der SD-Pixeldaten x1, x2, ..., welche die Vorhersageanzapfungen vom Vorhersageanzapfungsgenerator 205 bilden, durchgeführt. Als Ergebnis wird der Vorhersagewert E[y] des Markierungspixels y bestimmt, und dieser wird als Pixelwert für ein HD-Pixel ausgegeben. Der Prozess wird durch Bestimmen jedes HD-Pixels wie ein Markierungspixel wiederholt, und wenn alle HD-Pixel so bestimmt wurden und die Vorhersagwerte dafür hergeleitet wurden, ist ein vollständiges SD-Bild in ein HD-Bild umgesetzt.
In 20 ist nunmehr ein Blockdiagramm einer Lerneinrichtung 210 gezeigt, welche einen Lernprozess zum Berechnen von Vorhersagekoeffizienten ausführt, die im ROM 207 von 18 gespeichert werden sollen. Die HD-Bilddaten, welche die Lehrer-Daten im Lernprozess sind, werden sowohl zur Ausdünnungsschaltung 211 als auch zur einer Lehrer-Daten-Abtastschaltung 146 geliefert. In der Ausdünnungsschaltung 211 wird die Anzahl von Pixeln des HD-Bild durch Ausdünnung vermindert, so dass das HD-Bild in ein SD-Bild umgesetzt wird. Die Anzahl von HD-Bildpixeln wird sowohl in der horizontalen als auch in der vertikalen Richtung halbiert, um dadurch das SD-Bild zu bilden. Das SD-Bild wird zur Klassifizierungsschaltung 212 und zum Vorhersageanzapfungsgenerator 145 geliefert. Es sei angemerkt, dass bevorzugt zum Bilden SD-Bilds vom HD-Bild ein SD-Bild an die Klassifikationsschaltung 212 unmittelbar von einer SD-Kamera entsprechend einem HD-Bild von einer HD-Kamera angelegt werden kann.
In der Klassifikationsschaltung 212 oder dem Vorhersageanzapfungsgenerator 145 werden die gleichen Prozesse wie die, welche in der Klassifikationsschaltung 201 oder dem Vorhersageanzapfungsgenerator 205 von 18 durchgeführt werden, durchgeführt, wodurch die Klasse eines Markierungspixels oder die Vorhersageanzapfungen entsprechend ausgegeben werden. Die Klassen, welche durch die Klassifizierungsschaltung 212 ausgegeben werden, werden an die Adressanschlüsse (AD) sowohl an den Vorhersageanzapfungsspeicher 147 als auch an den Lehrer-Datenspeicher 148 angelegt. Die Vorhersageanzapfungen, welche vom Vorhersageanzapfungsgenerator 145 ausgegeben werden, werden an Vorhersageanzapfungsgenerator 147 angelegt, wo die Anzapfungen bei Adressen gespeichert werden, welche den Klassen entsprechen, die von der Klassifizierungsschaltung 212 geliefert werden.
In der Lehrer-Daten-Abtastschaltung 146 werden die HD-Pixel, um Markierungspixel in der Klassifikationsschaltung 212 zu sein, und der Vorhersageanzapfungs-Erzeugungsschaltung 145 zu sein, von dem HD-Bild, welches zugeführt wird, extrahiert. Die extrahierten Anzapfungen werden im Lehrer-Datenspeicher 148 als Lehrer-Daten gemeinsam mit der berechneten Klasse an einer gemeinsamen Adressstelle gespeichert. Der Prozess wird für alle HD-Pixel der HD-Bilder wiederholt, welche der Einrichtung 210 zugeführt werden, um zu lernen. Da der Vorhersageanzapfungsspeicher 147 und der Lehrer-Datenspeicher 148 jeweils so aufgebaut sind, um mehrere Informationsarten an der gleichen Adressstelle zu speichern, können mehrere Lerndaten x und Lehrer-Daten y, um in der identischen Klasse klassifiziert zu werden, an der im Wesentlichen gleichen Adressstelle gespeichert werden.
Der Rechner 149 liest dann Vorhersageanzapfungen als Lerndaten oder HD-Pixeldaten als Lehrer-Daten, welche an den gleichen Adressstellen gespeichert sind, vom Vorhersageanzapfungsspeicher 147 oder vom Lehrer-Datenspeicher 148 entsprechend. Auf der Basis dieser Daten berechnet der Rechner 149 Vorhersagekoeffizienten, beispielsweise mit dem Verfahren der kleinsten Quadrate, welches Fehler zwischen den Vorhersagewerten und den Lehrer-Daten minimiert. Anders ausgedrückt werden im Rechner 149 die oben beschriebenen Vorhersagegleichungen (10) durch Klassen gebildet, und die Vorhersagekoeffizienten werden beim Lösen dieser Gleichungen erhalten. Die Vorhersagekoeffizienten werden dann an den Adressstellen, welche den Klassen entsprechen, im Koeffizienten-ROM 207 von 18 gespeichert. Es sei angemerkt, dass die unabhängigen Gleichungen (10) für jedes "nicht-übereinstimmende" HD-Pixel, beispielsweise das Pixel Y₄₅, Y₅₄ oder Y₅₅ in 19, und für jedes "übereinstimmende" Pixel Y₄₄ sogar, obwohl die Vorhersageanzapfungen die gleichen sind, gelöst werden.
Im Beispiel von 19 wurden neun Klassenanzapfungen und 25 Vorhersageanzapfungen für jedes HD-Markierungspixel gebildet, und die Klassifikation und die adaptiven Prozesse (anschließend als adaptive Klassifikationsprozesse bezeichnet) wurden entsprechend durchgeführt. Für die HD-Markierungspixel in der Nähe des Rands eines Bildbereichs ist jedoch die Annahme von neun Klassenanzapfungen und 25 Vorhersageanzapfungen nicht weiter gültig. Es ist daher wünschenswert, Klassen- und Vorhersageanzapfungen unterschiedlicher Anordnungen für diejenigen HD-Pixel zu bilden und Vorhersagekoeffizienten in einer ähnlichen Weise wie die, die oben beschrieben wurde, zu berechnen, um diese Spezialfälle abzudecken.
Folglich wird der oben beschriebene Klassifikations-Adaptionsprozess verwendet, die Pixelbildung im Auflösungseinrichtungsspeicher 15i zu ergänzen, wenn HD-Pixel nicht anders gemäß dem verknüpften Bewegungsvektor gebildet werden. Beispielsweise braucht man im Anschluss an eine Szenenänderung mehrere Bewegungsrahmen, um ein HD-Bild von einem SD-Bild auf der Basis der Bewegung alleine zu erzeugen. Somit kann bei den Anfangsrahmen im Anschluss an eine Szenenänderung die Klassifikations-Adaptionsprozedur häufig durchgeführt werden.
Schreiben von Daten gemäß dem Bewegungsvektor
Wie oben in Verbindung mit der Ausführungsform von 4 erläutert muss, um in der Praxis Pixel an Positionen, die der Bildbewegung entsprechen, zu erzeugen, jeder Bewegungsvektor auf einen Abstand abgerundet werden, der dem Abstand zwischen Mittelpunkten von benachbarten Hochauflösungspixeln entspricht. Somit kann beispielsweise für die Ausführungsform, bei der die HD-Pixeldaten von den SD-Pixeldaten erzeugt werden, wenn der Bewegungsvektor eines bestimmten Rahmens einer Bewegung zwischen 0,5 und 1,5 HD-Pixelabständen in der vertikalen und/oder horizontalen Richtung entspricht, der Bewegungsvektor auf einen HD-Pixelabstand in der vertikalen (oder horizontalen) Richtung abgerundet werden und der Adresszeiger entsprechend bewegt werden, um neue SD-Daten in den Speicher zu schreiben. Als Alternative kann veranlasst werden, dass der Adresszeiger sich lediglich bewegt, wenn der Bewegungsvektor ungefähr gleich zu oder innerhalb eines vorher festgelegten Bereichs eines ganzzahligen Vielfachen eines HD-Pixelintervalls ist. (Das heißt, eines ganzzahligen Vielfachen von 1/2 des SD-Pixelintervalls). In diesem Fall wird es viele Beispiele geben, wo es keine Änderung des Adresszeigers gibt, was zu häufigeren leeren Adressen für die HD-Pixeldaten im Auflösungseinrichtungsspeicher 15i führt. Somit können die leeren Adressen durch Interpolation oder über den Klassifikations-Adaptionsprozess aufgefüllt werden.
Als weitere Alternative, den Bewegungsvektor abzurunden, um Hochauflösungspixeldaten gemäß damit zu bilden, besteht ein anderes Verfahren darin, eine sogar höhere Auflösungsspeichergruppe (vergrößerter Zugriffsbereich) innerhalb des Auflösungseinrichtungsspeichers 15 oder 15i zu bilden, um den Abrundungsfehler der Bewegungsvektoren zu reduzieren. Wenn dann der sogar höhere Auflösungsrahmen erzeugt wird, können Pixeldaten ausgelesen werden, indem einige der Daten gekippt werden, beispielsweise durch Kippen abwechselnder Reihen oder abwechselnder Spalten, um ein hochauflösendes Bild zu erzeugen, jedoch nicht mit einer ganz so hohen Auflösung, wie dies realisiert werden könnte.
Um das letztere Verfahren zu zeigen, kann der oben beschriebene Auflösungsumsetzer 34, der dazu bestimmt ist, ein SD-Bild in ein HD-Bild umzusetzen, unter Verwendung eines Auflösungsumsetzungsspeichers 15_i' modifiziert werden mit viermal so vielen Pixelspeicherstellen wie beim SD-Bild in sowohl der horizontalen als auch der vertikalen Richtung, d.h., mit den 16-fachen der Pixeldichte im Vergleich zum SD-Bild. Dieses Verfahren ist in 21 gezeigt, bei dem ein Speicher 15_i' mit P_H' ≥ 4P_H Spalten und P_V' ≥ 4P_V Reihen bezeichnet ist, wobei P_H und P_V die Anzahl von Pixeln in der horizontalen bzw. der vertikalen Richtung eines SD-Rahmens ist. Der Zugriffsbereich 15a_i ist mit 4P_H × P_V Pixeln bestimmt. Der Relativadresszeiger R_P steuert die genaue Stelle des Zugriffsbereichs 15a; innerhalb des größeren Speicherbereichs des Speichers 15_i im Wesentlichen in der gleichen Art und Weise wie oben erläutert wurde.
Die SD-Pixel werden bei jeder vierten Position im Zugriffsbereich 15a_i' in sowohl der horizontalen als auch der vertikalen Richtung nach Bewegung des Relativadresszeigers gemäß dem Bewegungsvektor geschrieben. Der Bewegungsvektor wird auf Einheiten entsprechend 1/4 des SD-Pixelabstands vor dem Bestimmen des Relativadresszeigers abgerundet. In diesem Fall jedoch können, wenn die x- und y-Komponenten des Bewegungsvektors des SD-Bilds signifikant von dem ganzzahligen Vielfachen von 1/4 des SD-Pixelabstands abweichen, zusätzliche SD-Pixeldaten nicht in den Speicher geschrieben werden. Wenn beispielsweise bestimmt wird, dass der Bewegungsvektor kleiner ist 1/8 des SD-Pixelabstands, kann der neue Hochauflösungsrahmen identisch mit dem vorherigen Hochauflösungsrahmen gebildet werden, und es werden keine neuen SD-Pixeldaten geschrieben.
22 bis 24 zeigen weiter das Verfahren für den vergrößerten Zugriffsbereich. 22 zeigt einen Bereich einer SD-Pixelausbildung von Pixeln P_SD. Es wird angenommen, dass ein Objekt OB_N-4 durch die Pixel im Rahmen (N – 4) gebildet wird. Die Position des Objekts bewegt sich rahmenweise, bis sie die Position des Objekts OB_N im Rahmen N erreicht.
Die Pixel, welche das Bild bilden, werden in den Zugriffsbereich, der auf den Bereich von 4P_H × 4P_V vergrößert wurde, wie unmittelbar vorher beschrieben wurde, geschrieben. Die Speicherzustände sind im Zugriffsbereich 15a_i' von 23 gezeigt, wo die Pixel unterschiedlicher Rahmen mit unterschiedlicher Schattierung gezeigt sind. Die Bewegungsvektoren, welche der rahmenweisen Bewegung entsprechen, sind außerdem in 23 tabellenmäßig dargestellt. 24 ist eine vergrößerte Ansicht der Speicherstellen oder Zellen MC von 23. Nach vier Rahmen einer Bewegung von Rahmen (N – 4) zu Rahmen N verbleiben viele der Speicherstellen leer. Diese können durch Interpolation, durch den Klassifikations-Adaptionsprozess usw. aufgefüllt werden. Als weitere Option kann eine leere Stelle durch einfaches Einfügen des gleichen Pixelwerts der nächsten Speicherstelle in die leere Stelle aufgefüllt werden.
Die gestrichelten Linien, welche in 23 und 24 gezeigt sind, bezeichnen abwechselnd Reihen und Spalten von Pixeldaten. Um HD-Pixeldaten vom Zugriffsbereich 15ai' zu lesen, genügt es, Daten jeder zweiten Reihe und jeder zweiten Spalte zu lesen, d.h., Daten von Speicherstellen längs der gestrichelten Linien. Dieses Verfahren wird höherere Auflösung als das erzeugen, welches durch Anwenden eines Zugriffsbereichs mit lediglich einer Gruppe von Speicherstellen von 2P_H × 2P_V realisierbar ist.
In 27 ist eine weitere Ausführungsform 34' des Auflösungsumsetzers 34 gezeigt. Diese Ausführungsform ist ähnlich der von 12, mit der Ausnahme, dass diese für den Fall bestimmt ist, bei dem das vollständige Bild jedes Rahmens zusammen sich um den gleichen Betrag rahmenweise bewegt. Das heißt, der Auflösungsumsetzer ist funktionsmäßig ähnlich dem Verzerrungs-Korrekturglied 4a von 4. Somit wird ein einzelner Hochauflösungsbildgenerator 41 ohne einen Schalter 22 oder einen Pufferspeicher 23 anstelle der Hochauflösungsobjektgeneratoren 41L bis 41M verwendet, und es wird auf den Bereichsteiler 21 und den Kombinierer 24 verzichtet. Alle weiteren Merkmale sind die gleichen wie oben, wie für die Ausführungsform von 12 beschrieben.
Bei jeder der oben beschriebenen Ausführungsformen der Erfindung, bei denen ein Auflösungseinrichtungsspeicher 15 oder 15_i verwendet wird, wurde, wenn die vorherigen Hochauflösungsrahmendaten schon im Auflösungseinrichtungsspeicher gebildet wurden, die Speicherung von Daten vom nächsten Rahmen, d.h., vom Speicher 11A des aktuellen Rahmens so offenbart, dass sie durch Bewegung des Adresszeigers gemäß dem Bewegungsvektor und durch Überschreiben einiger vorherigen Daten erreicht wird. Als eine Alternative zu diesem Verfahren kann der Bewegungsvektor des vorherigen Rahmens gespeichert werden und mit dem Bewegungsvektor des aktuellen Rahmens verglichen werden, um zu bestimmen, welcher Bewegungsvektor x- und y-Komponenten hat, welche dem Abstand an nächsten sind, der einem Hochauflösungspixelintervall entspricht, und die Daten entsprechend gespeichert werden. Anders ausgedrückt würden Daten, die in Verbindung mit dem Bewegungsvektor stehen, der einen kleineren Abrundungsfehler hat, zur Speicherung ausgewählt werden. Für den Speicher von 23 würde dies das Auswählen von Daten in Verbindung mit dem Bewegungsvektor bedeuten, der einem ganzzahligen Vielfachen von 1/4 eines SD-Pixelintervalls am nächsten ist.
Obwohl die vorliegende Erfindung besonders in Verbindung mit deren bevorzugten Ausführungsformen gezeigt und beschrieben wurde, wird der Fachmann schnell erkennen, dass verschiedene Änderungen und Modifikationen in Bezug auf die offenbarten Ausführungsformen durchgeführt werden können, ohne den Rahmen der Erfindung zu verlassen. Obwohl beispielsweise die offenbarten Ausführungsformen dazu beschrieben wurden, die Aliasing-Verzerrung zu reduzieren und optional hochauflösende Bilder zu erzeugen, kann die Erfindung auch dazu verwendet werden, Bilder zu vergrößern. Obwohl weiter die obigen Prozesse als Verarbeitung von Daten auf Rahmenbasis offenbart sind, können die Prozesse verwendet werden, um Bereiche von Rahmen zu verarbeiten, beispielsweise in Einheiten von Feldern. Außerdem können die Bilder auf anderen Anzeigeeinrichtungen als einer CRT angezeigt werden, beispielsweise einer Flüssigkristallanzeige. Außerdem kann das empfangene Bildsignal ein digitales Bildsignal sein. In diesem Fall kann auf den A/D-Umsetzer (beispielsweise von 1 oder 11) verzichtet werden. Die vorliegende Erfindung kann außerdem dazu angewandt werden, ein verschachteltes Abtastbild in ein progressives Abtastbild umzusetzen. Folglich sind diese und weitere Änderungen und Modifikationen dazu beabsichtigt, dass diese innerhalb des Rahmens der Erfindung fallen.

Claims

Bildsignal-Umsetzungsvorrichtung zum Umsetzen eines ersten Bildsignals in ein zweites Bildsignal, wobei das erste und das zweite Bildsignal mehrere Bilder unterschiedlicher Rahmen aufweisen, wobei die Vorrichtung aufweist: einen Bewegungsdetektor, der betriebsfähig ist, Bewegung des ersten Bildsignals zwischen einem ersten Rahmen und einem zweiten Rahmen zu ermitteln; und eine Verarbeitungsschaltungsanordnung zum Erzeugen des zweiten Bildsignals durch Hinzufügen – zu den Pixeln des ersten Bilds – angenommener Pixel in der Vertikalrichtung entsprechend der ermittelten Vertikalbewegung und/oder angenommener Pixel in der Horizontalrichtung entsprechend der ermittelten Horizontalbewegung, wobei der Bewegungsdetektor (12) die Bewegung des ersten Bildsignals mit einem feineren Betrag als ein Pixel-Pixel-Abstand des ersten Bildsignals ermittelt, und die Verarbeitungsschaltungsanordnung aufweist: einen Auflösungseinrichtungsspeicher (15) zum Speichern eines Bilds des ersten Bildsignals, der eine größere Speicherkapazität hat als eine Datenmenge innerhalb eines Bilds des ersten Bildsignals; und eine Steuerung (14), die betriebsfähig ist, das Schreiben der ersten Bildsignaldaten in den Auflösungseinrichtungsspeicher (15) zu steuern und um das Lesen von Daten eines neuen Bildsignals vom Speicher (15) zu steuern, welches eine höhere Auflösung hat als das erste Bildsignal, wobei die Steuerung (14) die ersten Bildsignaldaten in den Speicher (15) gemäß der ermittelten Bewegung des ersten Bildsignals schreibt.
Vorrichtung nach Anspruch 1, die außerdem ein Tiefpassfilter (16) aufweist, um Hochfrequenzkomponenten des zweiten Bildsignals herauszufiltern.
Vorrichtung nach Anspruch 1 oder 2, wobei die Steuerung (14) das Lesen des neuen Bildsignals vom Speicher (15) wie das zweite Bildsignal steuert.
Vorrichtung nach Anspruch 1, welche außerdem aufweist: ein Tiefpassfilter (16) zum Filtern des neuen Bildsignals; und eine Ausgabeeinheit (17) zum Umsetzen des gefilterten neuen Bildsignals in das zweite Bildsignal, welches mit der gleichen Anzahl von Pixeln wie die Anzahl von Pixeln innerhalb eines Bilds des ersten Bildsignals gebildet ist, und zum Ausgeben des zweiten Bildsignals, wobei das zweite Bildsignal geringere Pseudoverzerrung als das erste Bildsignal hat.
Vorrichtung nach Anspruch 1, 2, 3 oder 4, die außerdem einen Szenenänderungsdetektor (13) aufweist, um eine Szenenänderung des ersten Bildsignals zu ermitteln und ein Szenenänderungssignal zu erzeugen, wobei die Steuerung (14) auf das Szenenänderungssignal anspricht, um Werte innerhalb von Speicherstellen des Speichers (15) auf vorher festgelegte Werte zurückzusetzen.
Vorrichtung nach Anspruch 1, wobei: veranlasst wird, dass Daten des ersten Rahmens des ersten Bildsignals an ersten Speicherstellen des Auflösungseinrichtungsspeichers (15) gespeichert werden; und veranlasst wird, dass Daten des zweiten Rahmens des ersten Bildsignals an zweiten Speicherstellen des Speichers (15) gespeichert werden, die jeweils in Bezug auf die ersten Speicherstellen um einen Betrag verschoben sind, welcher der Bewegung des ersten Bildsignals zwischen dem ersten und dem zweiten Rahmen entspricht, um dadurch Daten eines höheren Auflösungsrahmens zu erzeugen, der sowohl die ersten Rahmendaten als auch die zweiten Rahmendaten enthält.
Vorrichtung nach Anspruch 6, wobei: die ersten Rahmendaten im Auflösungsspeicher (15) in einem ersten Zugriffsbereich gespeichert sind; veranlasst wird, dass die zweiten Rahmendaten in einem zweiten Zugriffsbereich der gleichen Größe wie der erste Zugriffsbereich gespeichert werden, ohne dass alle ersten Rahmendaten gelöscht werden, wobei der zweite Zugriffsbereich in Bezug auf den ersten Zugriffsbereich entsprechend der ermittelten Bewegung verschoben ist; und die Steuerung (14) betriebsfähig ist, einen Relativadresszeiger zum Speicher bereitzustellen, der die Stellen des ersten und des zweiten Zugriffsbereichs bestimmt.
Vorrichtung nach Anspruch 1, wobei die Verarbeitungsschaltungsanordnung aufweist: einen Detektor (42i–42m) zum Ermitteln leerer Positionen im Speicher, in welchem Positionsdaten des ersten Bildsignals nicht gespeichert sind; und einen Pixelgenerator (43i–43m) zum Erzeugen von Pixeldaten an den leeren Positionen.
Vorrichtung nach Anspruch 8, wobei der Detektor (42i–42m) einen Flag-Speicher aufweist, um Flags zu speichern, die zeigen, welche Speicherpositionen des Auflösungseinrichtungsspeichers gespeicherte Bilddaten des ersten Bildsignals enthalten.
Vorrichtung nach Anspruch 8, wobei der Pixelgenerator (43i–43m) betriebsfähig ist, Bildwerte für Pixel an Positionen, welche den leeren Stellen entsprechen, durch Interpolation zwischen schon gespeicherten Pixeldaten an benachbarten Speicherpositionen der leeren Positionen zu bestimmen.
Vorrichtung nach Anspruch 8, wobei der Pixelgenerator aufweist: eine Bestimmungseinrichtung (201, 202, 203) zum Ermitteln von Kenndaten des ersten Bildsignals und zum Ermitteln einer Klasse, welche den ermittelten Kenndaten entspricht; einen Vorhersagedatenspeicher (207) zum Speichern von Vorhersagedaten für jede Klasse; und eine Schaltungsanordnung (205, 206) zum Erzeugen der Pixeldaten für eine leere Speicherposition gemäß Vorhersagedaten, welche aus dem Vorhersagedatenspeicher gelesen werden, entsprechend der bestimmten Klasse.
Vorrichtung nach Anspruch 12, wobei die Vorhersagedaten für jede Klasse durch Lernen unter Verwendung von zumindest eines lernenden Bildsignals erzeugt werden, welches eine höhere Auflösung als das erste Signal hat.
Bildsignalumsetzungsvorrichtung zum Umsetzen eines ersten Bildsignals in ein zweites Bildsignal höherer Auflösung als das erste Bildsignal, wobei das erste und das zweite Bildsignal jeweils mehrere Rahmen aufweisen, wobei die Vorrichtung aufweist: einen Bewegungsdetektor (12), der betriebsfähig ist, Bewegung des ersten Bildsignals zwischen aufeinanderfolgenden Rahmen in zumindest einem ersten und einem zweiten Bereich jedes Rahmens zu ermitteln; eine Bereichsteilungseinrichtung (21) zum Definieren von zumindest einem ersten und einem zweiten Bildbereich eines Bilds des ersten Bildsignals auf der Basis von zumindest der ermittelten Bewegung; eine Verarbeitungsschaltungsanordnung (224, 228, 234, 238, 15A, 15B, 13, 14A, 14B) zum Erzeugen eines ersten und eines zweiten Bildbereichs des zweiten Bildsignals durch Hinzufügen – zu den Pixeln des ersten und des zweiten Bildbereichs des ersten Bilds – von angenommenen Pixeln in der Vertikalrichtung entsprechend der ermittelten Vertikalbewegung im entsprechenden ersten und zweiten Bildbereich und/oder von angenommenen Pixeln in der Horizontalrichtung entsprechend der ermittelten Bewegung in der Horizontalrichtung im entsprechenden ersten und zweiten Bildbereich; und eine Kombinationseinrichtung (24) zum Kombinieren des ersten und des zweiten Bildbereichs des zweiten Bildsignals, um ein zusammengesetztes Bildsignal zu bilden; wobei der Bewegungsdetektor (13) die Bewegung des ersten Bildsignals mit einem feineren Betrag als der Pixel-Pixel-Abstand des ersten Bildsignals ermittelt, und die Verarbeitungsschaltungsanordnung ein erstes (14A, 23A, 15A, 22A) und ein zweites (14B, 23B, 15B, 22B) Schaltungsteil aufweist, um separate Verarbeitungsoperationen in Bezug auf den ersten und den zweiten Bildbereich des ersten Signals durchzuführen, wobei jedes Schaltungsteil aufweist: einen Auflösungseinrichtungsspeicher (15A, 15B) zum Speichern von Daten innerhalb des jeweiligen Bildbereichs des ersten Bildsignals, welcher eine größere Speicherkapazität hat als eine Datenmenge innerhalb eines Bilds des ersten Bildsignals; und eine Steuerung (14A, 14B), die betriebsfähig ist, Schreiben der ersten Bildsignaldaten im Auflösungseinrichtungsspeicher und Lesen von Daten eines neuen Bildsignals von diesem Speicher zu steuern, welches höhere Qualität hat als das erste Bildsignal, wobei die Steuerung die ersten Bildsignaldaten in den Speicher gemäß der ermittelten Bewegung des ersten Bildsignals in den damit verknüpften Bildbereich schreibt.
Vorrichtung nach Anspruch 13, die außerdem einen Szenenänderungsdetektor (13) aufweist, um eine Szenenänderung des ersten Bildsignals zu ermitteln und um ein Szenenänderungssignal gemäß damit zu erzeugen, wobei jede Steuerung (14A, 14B) auf das Sze nenänderungssignal anspricht, um Werte innerhalb von Speicherstellen des verknüpften Auflösungseinrichttungsspeichers auf vorher festgelegte Werte zurückzusetzen.
Vorrichtung nach Anspruch 13 oder 14, welche außerdem aufweist: ein Filter (16) zum Filtern des zweiten Bildsignals.
Vorrichtung nach Anspruch 15, wobei das Filter (16) ein Tiefpassfilter ist.
Vorrichtung nach Anspruch 16, die außerdem aufweist: eine Ausgabeeinheit (17) zum Umsetzen des gefilterten zweiten Signals in ein Ausgabebildsignal, welches mit der gleichen Anzahl von Pixeln wie die Anzahl von Pixeln innerhalb eines Bilds des ersten Bildsignals gebildet ist, und zum Ausgeben des zweiten Bildsignals, wobei das Ausgabebildsignal geringere Pseudoverzerrung als das erste Bildsignal hat.
Vorrichtung nach Anspruch 15, wobei die Ausgabeeinheit einen Rahmenspeicher (17) aufweist, um das gefilterte zweite Signal zu speichern, wobei Daten aus dem Rahmenspeicher durch periodisches Überspringen von Datenzeilen gelesen werden, um das Ausgabesignal mit geringerer Qualität als zweite Bildsignal zu erzeugen.
Vorrichtung nach Anspruch 13, wobei jedes Schaltungsteil der Verarbeitungsschaltungsanordnung aufweist: einen Detektor (41i–41m) zum Ermitteln leerer Positionen im zugeordneten Auflösungsbildungsspeicher (15i–15m), in welchem Positionsdaten des ersten Bildsignals nicht gespeichert sind; und einen Pixelgenerator (43i–43m) zum Erzeugen von Pixeldaten an den leeren Positionen.
Vorrichtung nach Anspruch 19, wobei der Detektor einen Flag-Speicher (42i-42m) aufweist, um Flags zu speichern, die zeigen, welche Speicherstellen des Auflösungseinrichtungsspeichers gespeicherte Bilddaten des ersten Bildsignals enthalten.
Vorrichtung nach Anspruch 19 oder 20, wobei der Pixelgenerator (43i–43m) betriebsfähig ist, Bildwerte für Pixel an Positionen, welche den leeren Stellen entsprechen, durch Interpolation zwischen schon gespeicherten Pixeldaten in benachbarten Speicherstellen der leeren Stellen zu bestimmen.
Vorrichtung nach Anspruch 19, wobei der Pixelgenerator (43i–43m) aufweist: eine Bestimmungseinrichtung (201, 202, 203) zum Ermitteln von Kenndaten des ersten Bildsignals und zum Bestimmen einer Klasse, die den ermittelten Kenndaten entspricht; einen Vorhersagedatenspeicher (207) zum Speichern von Vorhersagedaten für jede Klasse; und eine Schaltungsanordnung (205, 206) zum Erzeugen der Pixeldaten für eine leere Speicherstelle gemäß Vorhersagedaten, welche aus dem Vorhersagedatenspeicher (207) gelesen werden, entsprechend der bestimmten Klasse.
Vorrichtung nach Anspruch 22, wobei die Vorhersagedaten für jede Klasse durch Lernen unter Verwendung zumindest eines lernenden Bildsignals erzeugt werden, welches eine höhere Auflösung als das erste Signal hat.
Vorrichtung nach Anspruch 1 oder 2, wobei das erste Bildsignal ein Standardauflösungssignal (SD) und das zweite Bildsignal ein Hochauflösungssignal (HD) aufweist mit höherer Atflösung als das SD-Signal in sowohl der horizontalen als auch der vertikalen Richtung.
Vorrichtung nach Anspruch 1, wobei: das erste Bildsignal ein Standardauflösungsbild (SD) und das zweite Bildsignal ein Hochauflösungsbild (HD) mit höherer Auflösung als das SD-Bild in sowohl der horizontalen als auch in der vertikalen Richtung zeigt; und ein Zugriffsbereich innerhalb des Auflösungseinrichtungsspeichers für jedes hochauflösende erzeugte Bild definiert ist, mit Speicherstellen, die zweimal so vielen Pixeln in der horizontalen Richtung und zweimal so vielen Pixeln in der vertikalen Richtung wie bei dem SD-Bild entsprechen.
Vorrichtung nach Anspruch 1, wobei: das erste Bildsignal ein Standardauflösungsbild (SD) und das zweite Bildsignal ein Hochauflösungsbild (HD) mit höherer Auflösung als das SD-Bild in sowohl der horizontalen als auch in der vertikalen Richtung zeigt; ein Zugriffsbereich innerhalb des Auflösungseinrichtungsspeichers für jedes hochauflösende erzeugte Bild definiert ist, mit Speicherstellen, die viermal so vielen Pixeln in der horizontalen Richtung und viermal so vielen Pixeln in der vertikalen Richtung wie dem SD-Bild entsprechen; und veranlasst wird, dass Pixeldaten vom Auflösungseinrichtungsspeicher gelesen werden, indem abwechselnde Speicherstellen übersprungen werden, um dadurch ein HD-Bild mit zweimal so vielen Pixeln in der horizontalen und der vertikalen Richtung wie bei dem SD-Bild zu bilden.
Verfahren zum Umsetzen eines ersten Bildsignals in ein zweites Bildsignal, wobei das erste und das zweite Bildsignal mehrere Bilder unterschiedlicher Rahmen aufweist, wobei das Verfahren folgende Schritte aufweist: Ermittlung von Bewegung des ersten Bildsignals zwischen einem ersten Rahmen und einem zweiten Rahmen; Erzeugen von angenommenen Pixeln in der vertikalen Richtung entsprechend der ermittelten vertikalen Bewegung und/oder Erzeugen von angenommen Pixeln in der horizontalen Richtung entsprechend der ermittelten horizontalen Bewegung; und Erzeugen des zweiten Bildsignals auf der Basis der erzeugten Pixeldaten durch Hinzufügen der erzeugten angenommenen Pixel zu den Pixeln des ersten Bilds, wobei der Schritt zum Ermitteln von Bewegung das Ermitteln der Bewegung des ersten Bildsignals um einen feineren Betrag als ein Pixel-Pixel-Abstand des ersten Bildsignals umfasst, und außerdem folgende Schritte aufweist: Speichern eines Bilds des ersten Bildsignals in einem Auflösungseinrichtungsspeicher, der eine höhere Speicherkapazität hat als eine Datenmenge innerhalb eines Bilds des ersten Bildsignals; Steuern des Schreibens von ersten Bildsignaldaten in den Auflösungseinrichtungsspeicher gemäß der ermittelten Bewegung des ersten Bildsignals; und Steuern des Lesens von Daten eines neuen Bildsignals vom Speicher, wobei das neue Bildsignal eine höhere Auflösung hat als das erste Bildsignal.
Verfahren nach Anspruch 27, welches außerdem den Schritt zum Tiefpassfiltern des zweiten Bildsignals aufweist, um jegliche Pseudoverzerrung, die darin anwesend sein kann, zu reduzieren.
Verfahren nach Anspruch 27 oder 28, wobei der Schritt zur Lesesteuerung das Lesesteuern von Daten des neuen Bildsignals als zweites Bildsignal umfasst.
Verfahren nach Anspruch 27, welches außerdem folgende Schritte aufweist: Tiefpassfiltern des neuen Bildsignals, um ein gefiltertes Signal zu erzeugen; Umsetzen des gefilterten Bildsignals in das zweite Bildsignal, welches mit der gleichen Anzahl von Pixeln wie der Anzahl von Pixeln innerhalb eines Bilds des ersten Bildsignals gebildet ist; und Ausgeben des zweiten Bildsignals, welches geringere Pseudoverzerrung als das erste Bildsignal hat.
Verfahren nach Anspruch 27, welches außerdem folgende Schritte aufweist: Ermitteln einer Szenenänderung des ersten Bildsignals; und Zurücksetzen von Daten innerhalb von Speicherstellen des Auflösungseinrichtungsspeichers auf vorher festgelegte Werte, wenn eine Szenenänderung ermittelt wird.
Verfahren nach Anspruch 27, welches außerdem das Erzeugen eines Relativadresszeigers gemäß der ermittelten Bewegung und das Schreiben von Bilddaten des zweiten Rahmens in den Speicher an Stellen gemäß dem Relativadresszeiger an Stellen umfasst, ohne alle Bilddaten innerhalb des Speichers des ersten Rahmens zu löschen, um dadurch Daten eines höheren Qualitätsrahmens zu erzeugen, die sowohl die ersten Rahmendaten als auch die zweiten Rahmendaten enthalten, in dem die zweiten Rahmendaten an Stellen gespeichert sind, die in Bezug auf die Speicherstellen, welche die ersten Rahmendaten speichern, verschoben sind.
Verfahren nach Anspruch 27, welches außerdem folgende Schritte aufweist: Ermitteln von leeren Positionen im Speicher, an denen Daten des ersten Bildsignals nicht gespeichert sind; und Erzeugen von Pixeldaten für Pixel entsprechend den leeren Positionen.
Verfahren nach Anspruch 33, wobei der Schritt zum Ermitteln das Speichern von Flags aufweist, die zeigen, welche Speicherpositionen des Auflösungseinrichtungsspeichers gespeicherte Bilddaten des ersten Bildsignals enthalten.
Verfahren nach Anspruch 33, wobei der Schritt zum Erzeugen von Pixeldaten Interpolation zwischen Bildwerten von benachbarten Pixeln aufweist, von denen Pixeldaten schon gespeichert sind.
Verfahren nach Anspruch 33, wobei der Schritt zum Erzeugen von Pixeldaten aufweist: Ermitteln von Kenndaten des ersten Bildsignals und Bestimmen einer Klasse entsprechend der ermittelten Kenndaten; Speichern von Vorhersagedaten in einem Vorhersagedatenspeicher für jede Klasse; und Erzeugen der Pixeldaten für eine leere Speicherposition gemäß Vorhersagedaten, welche vom Vorhersagedatenspeicher gelesen werden, entsprechend der bestimmten Klasse.
Verfahren nach Anspruch 33, welches außerdem das Erzeugen von Vorhersagedaten für jede Klasse durch Lernen unter Verwendung von zumindest einem lernenden Bildsignal aufweist, welches eine höhere Auflösung als das erste Signal hat.
Verfahren nach Anspruch 27, wobei das erste Bildsignal ein Standardauflösungssignal (SD) aufweist und das zweite Bildsignal ein Hochauflösungssignal (HD) mit höherer Auflösung als das SD-Signal in sowohl horizontaler als auch vertikaler Richtung aufweist.
Verfahren nach Anspruch 27, wobei das erste Bildsignal ein Standardauflösungsbild (SD) zeigt und das zweite Bildsignal ein Hochauflösungsbild (HD) mit höherer Auflösung als das SD-Bild in sowohl horizontaler als auch in vertikaler Richtung zeigt; und das Verfahren außerdem folgenden Schritt aufweist: Speichern von SD-Bilddaten innerhalb eines Zugriffsbereichs des Auflösungseinrichtungsspeichers für jedes hochauflösende erzeugte Bild, wobei jeder Zugriffsbereich Spei cherstellen aufweist, welche zweimal so vielen Pixeln in der horizontalen Richtung und zweimal so vielen Pixeln in der vertikalen Richtung wie dem SD-Bild entsprechen.
Verfahren nach Anspruch 27, wobei das erste Bildsignal ein Standardauflösungsbild (SD) und das zweite Bildsignal ein Hochauflösungsbild (HD) mit höherer Auflösung als das SD-Bild in sowohl horizontaler als auch in vertikaler Richtung zeigt; und das Verfahren außerdem folgenden Schritt aufweist: Speichern von SD-Bilddaten innerhalb eines Zugriffsbereichs des Auflösungseinrichtungsspeichers für jedes erzeugte hochauflösende Bild, wobei jeder Zugriffsbereich Speicherstellen aufweist, welche viermal so vielen Pixeln in der horizontalen Richtung und vielmal so vielen Pixeln in der vertikalen Richtung wie bei dem SD-Bild entsprechen; und Lesen von Pixeldaten von dem Auflösungseinrichtungsspeicher durch abwechselndes Überspringen von Speicherstellen, um dadurch ein HD-Bild mit zweimal so vielen Pixeln in der horizontalen und der vertikalen Richtung wie bei dem SD-Bild zu bilden.
Verfahren nach Anspruch 27, wobei der Schritt zum Ermitteln von Bewegung das Ermitteln der Bewegung des ersten Bildsignals um einen feineren Betrag als ein Pixel-Pixel-Abstand des ersten Bildsignals in mehreren Bildbereichen von einem Bild davon umfasst, und außerdem folgende Schritte aufweist: Definieren von zumindest einem ersten und einem zweiten Bildbereich des Bilds des ersten Bildsignals auf der Basis von zumindest der ermittelten Bewegung; Erzeugen eines ersten und eines zweiten Bildbereichs des zweiten Bildsignals auf der Basis einer Annahme von Pixeln an Positionen, welche der ermittelten Bewegung in dem entsprechenden ersten und zweiten Bildbereich entsprechen; und Kombinieren des ersten und des zweiten Bildbereichs des zweiten Bildsignals, um ein zusammengesetztes Bildsignal zu bilden.