DE60015265T2

DE60015265T2 - Bildverarbeitungsgerät

Info

Publication number: DE60015265T2
Application number: DE60015265T
Authority: DE
Inventors: Toshihiro Sasai
Original assignee: Nucore Technology Inc
Current assignee: Nucore Technology Inc
Priority date: 1999-07-22
Filing date: 2000-07-20
Publication date: 2006-02-02
Anticipated expiration: 2020-07-21
Also published as: DE60015265D1; JP2001054123A; EP1079604A2; US6636629B1; EP1079604B1; EP1079604A3; JP4317619B2

Description

Hintergrund der Erfindung
Die vorliegende Erfindung bezieht sich auf ein Bildverarbeitungsgerät und insbesondere auf ein Bildverarbeitungsgerät zum Erzeugen von einem qualitativ hochwertigen Bild eines zweidimensionalen Farbbildsignals, welches durch eine elektronische Einzel-Farbkameraeinrichtung abgetastet wird.
Im allgemeinen verwendet ein elektronisches bildabtastendes Gerät zum Abtasten eines Bildes einen Bildsensor, wie z. B. ein mehrere Farben filternder CCD, wobei ein Bildsignal mit sämtlichen Farbinformationen (RGB oder ein Hellichkeitswert und unterschiedliche Farbsignale) für jedes Pixel von einem Bild mit dem Pixelwert von nur einer einer Vielzahl von Farben (primäre Farben) für jedes der vielen Pixel erzeugt wird, welche immer in einem zweidimensionalen vielfarbigen Muster angeordnet sind.
Zum Erzeugen eines Bildsignals, welches sämtliche Farbinformationen für jedes Pixel beinhaltet, werden unzureichende Farbinformationen an jeder Pixelposition interpoliert, wobei die Pixelwerte von umgebenden Pixel mit den unzureichenden Farbinformationen verwendet werden.
Jedoch die Anzahl der Teile der Information von jeder Farbe durch ein Bildsignal von einem Einzel-CCD-Farbbildabstastelement (Ladungskoppelelement) ist wesentlich kleiner als die Gesamtanzahl der Pixel des Bildabtastelements. Somit wird ein durch Interpolation erzeugtes Bildsignal unscharf.
Insbesondere wenn ein Bildsignal durch Interpolation durch Verwendung von nur benachbarten Pixel der gleichen Farbe erzeugt wird (unzureichende Farbe), tritt dieses Phänomen typischerweise auf. In vielen Fällen wird eine Farbinformation erzeugt, welche ursprünglich nicht an einer Pixelposition existiert.
Um dieses Phänomen zu verhindern, ergreifen konventionelle Einzel-CCD Farbbildabtastgeräte verschiedene Interpolationsverfahren.
15A und 15B zeigen Interpolationsverfahren bei einem konventionellen Bildverarbeitungsgerät.
15A und 15B zeigen die Pixelanordnung eines Farbbildabtastelements, verwendend eine sogenannte Bayer-Anordnung. Rote Pixel (R), grüne Pixel (G) und blaue Pixel (B) sind in einem vielfarbigen Muster angeordnet.
Um Bildinformationen mit Pixelwerten (Helligkeitsinformation) von drei R, G und B Farben für jedes Pixel von dieser Datenanordnung zu erzeugen, wird ein interpolierter Pixelwert von jeder Farbe stark durch Durchführen der folgenden Interpolationsberechnung vereinfacht berechnet, verwendend die Pixelwerte der umgebenden Pixel in der gleichen Farbe, so dass die Farbinformation zwischen den Pixel berechnet wird, welche in einer 3 × 3 Untermatrix enthalten sind, welche zentriert auf einen zu interpolierenden Pixel ist.
Zum Beispiel, wie in 15A gezeigt, wenn ein R Pixel im Zentrum der Untermatrix angeordnet ist, wird R₂₂ unverändert gehalten, wobei G₂₂ und B₂₂ durch benachbarte Pixelwerte interpoliert werden.
Wie in 15B gezeigt, wenn ein G Pixel im Zentrum der Untermatrix angeordnet ist, wird G₃₂ unverändert beibehalten, wobei R₃₂ und B₃₂ durch benachbarte Pixelwerte interpoliert werden.
Jedoch die meisten der bekannten Verfahren können keine geeignete Bildqualität erreichen, obgleich das Interpolationsverfahren des Pixelwertes bei einer Höchstgeschwindigkeit einfach durchführbar ist.
Bei dem Beispiel, welches in den 15A und 15B gezeigt ist, welches von den oben beschriebenen Gleichungen ersichtlich ist, wird jedes Farbinformation die gleichen Ergebnisse ergeben, wie diese erhalten werden, wenn Daten bzw. Informationen durch einen Tiefpassfilter in Einheiten von verschiedenen Pixel passiert. Deshalb werden keine hoch qualitativen Bilder erhalten.
Im Gegensatz dazu wird eine Anordnung zum Erhalten eines hochqualitativen Bildes durch Ausführen einer höheren Interpolation vorgeschlagen, welche eine umfangreichere Untermatrix verwendet, um die Hochfrequenzkomponente der räumlichen Frequenz zu interpolieren oder adaptiv die Berechnungsmethode in Abhängigkeit von komplizierten Bedingungen zu verändern, um die Erzeugung einer falschen Farbe zu verhindern (siehe internationale Patentveröffentlichungsnummer WO 61-501423 und WO 61-501424 und US 5,805,217).
Jedoch diese Verfahren müssen eine komplizierte Berechnung durchführen, wobei Verfahren durchgeführt werden müssen, welche in Abhängigkeit von Bedingungen verändert werden. Somit kann sich diese Anordnung nicht mit Hochgeschwindigkeits- und Echtzeitverfahren messen.
Zum Beispiel um eine Berechnung durchzuführen, dessen Verfahren in Abhängigkeit von Bedingungen in Echtzeit verändert, muss eine Berechnung für jede Bedingung vorab durchgeführt werden, wobei, wenn Bedingungen bestimmt werden, müssen ordnungsgemäße Resultate von den fertigen Resultaten ausgewählt werden. Dieses erhöht den Schaltmaßstab und den Energieverbrauch.
Um die Interpolation höherer Ordnung (high-order) durchzuführen, sind Werte an zwei Punkten in eine Richtung erforderlich, ausgenommen für einen Interpolationspunkt. Um jedes Farbsignal durch Pixelwerte der gleichen Farbe zu interpolieren, müssen die ursprünglichen 9 × 9 Pixel zum Interpolieren höherer Ordnung in zwei Richtungen (X- und Y-Richtungen) sein, wobei die Anzahl der R oder B Pixel im wesentlichen kleiner als die Anzahl der G Pixel sind.
Folglich steigt die Anzahl der Berechnungsverfahren, wobei zusätzlich die Kapazität eines Pufferspeichers für das zeitweise Speichern von Pixelinformationen zum Berechnen entsprechend der Anzahl der Pixel erhöht wird.
Ein unscharfes Bild durch Interpolation wird klarer durch die Einstellung der räumlichen Frequenzcharakteristiken nach dem Interpolationsverfahren, um eine Hochfrequenzkomponente hervorzuheben. Jedoch kann eine ursprünglich nicht existierende Hochfrequenz nicht hervorgehoben werden. Ein unscharfes Bild kann nicht zufriedenstellend klarer werden, ohne die Verarbeitung von geeigneten Hochfrequenzinformationen bei der Interpolation.
Zusammenfassung der Erfindung
Die vorliegenden Erfindung wurde realisiert, um die bekannten Nachteile zu vermeiden, wobei ein Ziel ist, ein Bildverarbeitungsgerät vorzuschlagen, welches geeignet ist, ein hochqualitatives Bild, ohne das Durchführen von komplizierten Pixelinterpolationsverfahren zu erhalten.
Um dieses Ziel gemäß der vorliegenden Erfindung zu erreichen, wird ein Bildverarbeitungsgerät zur Interpolation eines Bildsignales vorgeschlagen, welches aus mehreren Pixel zusammengesetzt ist, das auf einer zweidimensionalen Ebene angeordnet ist und einen Pixelwert hat, welcher zu jedem einer Vielzahl von Farbsignalen jedes Pixels korrespondiert, wobei ein Pixelwert an einem beliebigen Interpolationspunkt auf der zweidimensionalen Ebene durch Pixelwerte von peripheren Pixel angeordnet ist und wobei ein Bildsignal mit Pixelwerten von jedem der Farbsignale für jeden Interpolationspunkt erzeugt wird, umfassend eine Interpolationseinheit zum Interpolieren eines Pixelwertes jedes Farbsignals an dem Interpolationspunkt, wobei Pixelwerte derselben Farbe verwendet werden, welche in eine vorbestimmte Interpolationsregion fallen, umfassend den Interpolationspunkt, wobei der Pixelwert als ein interpolierter Pixelwert an dem Interpolationspunkt für jedens Farbsignal ausgegeben wird, wobei eine Kompensationswert-Berechnungseinheit zum Erzeugen eines Pixel-Kompensationswertes zum Kompensieren eines Pixelwertes des Interpolationswertes vorgesehen ist, welcher Pixelwerte einer Vielzahl von Pixel um den Interpolationspunkt herum verwendet, welche in eine Kompensationsregion fallen, welche zumindest die Interpolationsregion umfasst, wobei eine Interpolationseinheit zum Kompensieren des interpolierten Pixelwertes jedes Farbsignals an dem Interpolationspunkt vorgesehen ist, der von der Interpolati onseinheit ausgegeben wird, indem der Pixel-Kompensationswert verwendet wird, welcher mit dem Interpolationspunkt korrespondiert, welcher durch die Kompensationswert-Berechnungseinheit erhalten wird, und wobei der kompensierte interpolierte Pixelwert als ein neuer Pixelwert jedes Farbsignals an dem Interpolationspunkt ausgegeben wird.
Beschreibung der Zeichnungen
1 ist ein Blockschaltdiagramm, welches ein Bildverarbeitungsgerät gemäß einer Ausführungsform der vorliegenden Erfindung zeigt;
2A bis 2C sind erläuternde Ansichten, welche eine Bildbearbeitungsoperation (der Interpolationspunkt ist an einem R Pixel gesetzt) gemäß der ersten Ausführungsform zeigen;
3A bis 3C sind erläuternde Ansichten, welche eine Bildbearbeitungsoperation (der Interpolationspunkt ist an einem G Pixel an einer R Pixellinie gesetzt) gemäß der ersten Ausführungsform zeigen;
4A und 4B sind graphische Darstellungen, welche jeweils die Raumfrequenzcharakteristiken eines Pixelkompensationswertes zeigen, welcher durch eine Kompensationswert-Berechnungseinheit bzw. Kalkulationseinheit erhalten wird;
5A bis 5C sind erläuternde Ansichten, welche eine Bildbearbeitungsoperation gemäß der zweiten Ausführungsform zeigt;
6A bis 6C sind Ansichten, welche jeweils die Einstellposition des Interpolationspunktes zeigen;
7A und 7B sind graphische Darstellungen, welche jeweils die räumliche Frequenzcharakteristiken der Pixel-Kompensationswerte zeigen, welcher durch die Kompensationswert-Berechnungseinheit erhalten wird;
8A und 8B sind erläuternde Ansichten, welche jeweils ein ausgegebenes Beispiel eines Bildes zeigen, welches durch die zweite Ausführungsform erhalten wird;
9 ist ein Blockschaltdiagramm, welches ein Bildverarbeitungsgerät gemäß der dritten Ausführungsform zeigt;
10A bis 10C sind erläuternde Ansichten, welche die Operation einer Regionwert-Berechnungseinheit zeigen;
11 ist ein Blockschaltdiagramm, welches eine Anordnung der Regionwert-Berechnungseinheit zeigt;
12 ist Blockschaltdiagramm, welches eine Anordnung einer Interpolationseinheit einer Kompensationswert-Berechnungseinheit zeigt;
13 ist ein Blockschaltbild, welches eine Anordnung einer Kompensationseinheit zeigt;
14A bis 14C sind Blockschaltdiagramme, welche jeweils eine Anordnung eines Bildverarbeitungsgerätes gemäß der vierten Ausführungsform zeigt; und
15A und 15B sind erläuternde Ansichten, welche jeweils eine bekannte Bildverarbeitungsoperation zeigt.
Beschreibung der bevorzugten Ausführungsformen
Die vorliegende Erfindung wird nachfolgend unter Bezugnahme auf die dazugehörigen Zeichnungen beschrieben.
1 zeigt ein Bildverarbeitungsgerät gemäß einer Ausführungsform der vorliegenden Erfindung.
In 1 ist ein Bildverarbeitungsgerät mit einer Interpolationseinheit 4 zum Interpolieren des Pixelwertes jedes Farbsignals an einem beliebigen Interpolationspunkt durch Verwenden der Pixelwerten von peripheren Pixeln der gleichen Farbe, welche in eine vorbestimmte Interpolationsregion fallen, umfassend den Interpolationspunkt, welcher auf einer zweidimensionalen Ebene angeordnet ist, welche durch ein Bildeingabesignal 1 gebildet wird, wobei der interpolierte Wert als ein interpolierter Pixelwert 5 an dem Interpolationspunkt für jedes Farbsignal ausgegeben wird.
Das Bildverarbeitungsgerät 10 umfasst ferner eine Kompensationswert-Berechnungseinheit 6 zum Erzeugen eines Pixelkompensationswertes 7 zum Kompensieren des Pixelwertes des Interpolationspunktes, wobei die Pixelwerte einer Vielzahl von Pixeln um den Interpolationspunkt herum verwendet werden, welcher in eine Kompensationsregion fällt und zumindest die Interpolationsregion umfasst, welche durch die Interpolationseinheit 4 verwendet wird, wobei eine Kompensationseinheit 8 zum Kompensieren des interpolierten Pixelwertes 5 jedes Farbsignals an dem Interpolationspunkt vorgesehen ist, welcher von der Interpolationseinheit 4 durch die Verwendung des Pixelkompensationswertes 7 ausgegeben wird, welcher durch die Kompensationswert-Berechnungseinheit 6 erhalten wird, und wobei der kompen sierte Wert als ein neuer Pixelwert 9 jedes Farbsignal an dem Interpolationspunkt ausgegeben wird.
In der folgenden Beschreibung ist das Bildsignal 1 ein von einem Bildabtastelement ausgegebenes Bildsignal, wie z. B. einem mehrfach farbgefilterten CCD, d. h., ein Bildsignal mit einer sogenannten Bayer-Anordnung, bei der R, G und B Pixel in einem vielfarbigen Muster angeordnet sind. Jedoch wird das Bildsignal 1 nicht auf dies beschränkt.
Die ersten Ausführungsform der vorliegenden Erfindung wird unter Bezugnahme auf die 2A bis 2C und 3A bis 3C beschrieben.
2A bis 2C und 3A bis 3C zeigen eine Bildverarbeitungsoperation gemäß der ersten Ausführungsform der vorliegenden Erfindung. 2A bis 2C zeigen einen Fall, bei dem der Interpolationspunkt an einer R Pixel gesetzt ist, wobei 3A bis 3C einen Fall zeigen, bei dem der Interpolationspunkt an einem G Pixel an einer R Pixellinie gesetzt ist bzw. eingestellt ist.
Verfahrensoperationen, während der Interpolationspunkt an einem R Pixel gesetzt ist, werden unter Bezugnahme der 2A bis 2C erläutert.
2A zeigt ein Pixelanordnungsbeispiel, 2B zeigt Filterkoeffizienten zum Kalkulieren eines Kompensationswertes, und 2C zeigt Gleichungen, welche das Interpolationsverfahren, das Kompensationswert-Berechnungsverfahren und Kompensationsverfahren darstellen.
Die Interpolationseinheit 4 berechnet die interpolierten Pixelwerte 5 (G₃₃, R₃₃ und B₃₃) an einem Interpolationspunkt (X₃₃), welcher als das Zentrum eingestellt ist, wobei die Pixelwerte der vorbestimmten Pixel verwendet werden, welche zwischen den Pixeln des Eingabebildsignals 1 zu dem Interpolationspunkt X₃₃ benachbart sind, wie in 2A gezeigt.
Jeder interpolierte Pixelwert 5 wird durch die Gleichung, wie in 2C gezeigt, berechnet, wobei die Pixelwerte der peripheren Pixel der gleichen Farbe verwendet werden, welche in eine Interpolationsregion 12 von 3 × 3 Pixel fallen, welche um den Interpolationspunkt X₃₃ angeordnet sind, d. h., im Zentrum um den Interpolationspunkt X₃₃.
Gleichzeitig erzeugt die Kompensationswert-Berechnungseinheit 6 den Pixelkompensationswert 7 (HF₃₃) zum Kompensieren des Pixelwertes jedes Farbsignals an dem Interpolationspunkt durch die in 2C gezeigte Gleichung, welche die Pixelwerte um den Interpolationspunkt X₃₃ herum von vorbestimmten Pixeln verwendet, wobei die Interpolationseinheit 4, die in 2B gezeigten Filterkoeffizienten und ein Kompensationsstufenfaktor (Gewicht aus Faktor gf) verwendet werden.
Die Berechnung des Pixelkompensationswertes 7 verwendet vorbestimmte Pixel, welche in einem Bereich fallen, z. B. in die Kompensationsregion 13 von 5 × 5 Pixel, korrespondierend mit den Filterkoeffizienten, die größer als die Interpolationsregion sind, welche zum Interpolationsverfahren der Interpolationseinheit 4 verwendet werden, wobei zumindest die Interpolationsregion umfasst wird.
Der interpolierte Pixelwert 5, welcher durch die Interpolationseinheit 4 berechnet wird, enthält nicht jede hohe räumliche Frequenzkomponente in der Pixelregion, zentriert um den Interpolationspunkt. Im Gegensatz dazu enthält der Pixelkompensationswert 7 eine hohe räumliche Frequenzkomponente in der Pixelregion.
Wie durch die Gleichungen gemäß 2C vorgegeben ist, addiert (oder integriert) die Kompensationseinheit 8 den Pixelkompensationswert 7 zu den interpolierten Pixelwerten 5, kompensiert die interpolierten Pixelwerte der jeweiligen Farbsignale und berechnet neue Pixelwerte 9 (G'₃₃, R'₃₃ und B'₃₃) der entsprechenden Farbsignale an dem Interpolationspunkt (X₃₃).
Die Verarbeitungsoperation, bei der der Interpolationspunkt an einem G Pixel an einer R Pixellinie gesetzt ist, wird unter Bezugnahme der 3A bis 3C erläutert.
3A zeigt ein Pixelanordnungsbeispiel, 3B zeigt Filterkoeffizienten zum Berechnen eines Kompensationswertes und 3C zeigt Gleichungen, welche das Interpolationsverfahren, das Kompensationswert-Berechnungsverfahren und das Kompensationsverfahren repräsentieren.
Bei der Verarbeitungsoperation, bei der der Interpolationspunkt an einem G Pixel an einer R Pixellinie gesetzt ist, wird der Interpolationspunkt durch ein Pixel in der Pixellinienrichtung umgestellt, verglichen mit der Verarbeitungsoperation, bei der der Interpolationspunkt an einem R Pixel gesetzt ist, wie in den 2A bis 2C gezeigt.
In Folge dessen sind die Verfahrensoperationen der Interpolationseinheit 4, der Kompensationswert-Berechnungseinheit 6 und der Kompensationseinheit 8 immer die gleichen, wie diese in den 2A bis 2C.
Jedoch da ein Interpolationspunkt (X₃₄) ursprünglich ein G Pixel ist, verändern sich die Gleichungen zum Berechnen der interpolierten Pixel Werte 5 durch die Interpolationseinheit 4 und die Gleichung zum Berechnen des Pixelkompensationswertes 7 durch den Kompensationswert-Berechnungseinheit 6, wie in 3C gezeigt.
Zusätzlich verändern sich die Filterkoeffizienten für die Berechnung des Pixelkompensationswertes 7 durch die Kompensationswert-Berechnungseinheit 6, wie in 3B gezeigt.
Die 4A und 4B zeigen die räumlichen Frequenzcharakteristiken des Pixelkompensationswertes, welcher durch die Kompensationswert-Berechnungseinheit erhalten wird. 4A zeigt den Fall gemäß 2B und 4B zeigt den Fall gemäß 3B.
In diesem Beispiel ist der Kompensationsstufenfaktor GF in der HF Gleichung gleich 16.
In den 2A bis 2C und 3A bis 3C ist der Interpolationspunkt an einer R Pixellinie. Wenn der Interpolationspunkt an einer B Pixellinie ist, werden die R und B Pixel in den 2A bis 2C und 3A bis 3C ausgetauscht.
Wenn der Interpolationspunkt an einer B Pixellinie ist, werden R und B in den Gleichungen, welche in den 2C und 3C gezeigt werden, ausgetauscht.
Gemäß der vorliegenden Erfindung berechnet die Interpolationseinheit 4 jeden interpolierten Pixelwert 5 an dem Interpolationspunkt von den Pixelwerten der Pixel in derselben Farbe, welche in die vorbestimmte Interpolationsregion 12 fallen, die den Interpolationspunkt umfasst. Die Kompensationswert-Berechnungseinheit 6 berechnet den Pixelkompensations wert 7 an dem Interpolationspunkt aus den Pixelwerten einer Vielzahl von Pixeln, welche in die Kompensationsregion 13 fallen, die größer ist und die Interpolationsregion umfasst, welche von der Interpolationseinheit 4 verwendet wird. Die Kompensationseinheit 8 kompensiert den interpolierten Pixelwert 5 durch Verwendung des Pixelkompensationswert 7.
Eine hohe räumliche Frequenzkomponente, welche nicht durch niedrige Interpolation in der Interpolationseinheit 4 erhalten werden kann, wird durch die Verwendung des Pixelkompensationswertes 7 kompensiert, wodurch ein neuer Pixelwert erhalten wird, welcher die hohe räumliche Frequenzkomponente beinhaltet.
Als ein Ergebnis kann ein hochqualitatives Bild mit einer Hochfrequenzkomponente durch ein relativ einfaches Verfahren ohne Durchführung einer Interpolation höherer Ordnung für sämtliche Farbsignale erhalten werden, welches die Pixelwerte der Pixel in einem großen Bereich verwendet oder komplizierte Interpolationsverfahren unter variierenden Bedingungen um den Interpolationspunkt durchführt, welches nicht dem Stand der Technik entspricht.
Die Kompensationswert-Berechnungseinheit 6 berechnet den Pixelkompensationswert 7, welcher nur die Pixelwerte einer Vielzahl von Pixeln mit einem Farbsignal verwendet, welches die Helligkeitskomponente eines Bildsignals repräsentiert, wie z.B. die Verwendung nur der Pixelwerte von G Pixel für ein Bildsignal mit einer Bayer-Anordnung, wie dies in den 2A bis 2C und 3A bis 3C gezeigt ist.
Somit kann die Kompensationseinheit 8 nur Helligkeitskomponenten für die Pixelwerte der Pixel jedes Farbsignals ohne Veränderung der Farbbalance kompensieren.
Im Allgemeinen ist der Pixel, welcher die Helligkeitskomponente repräsentiert, am häufigsten vertreten und hat die höchste Frequenzkomponente. Ein neuer Pixelwert, welcher eine hohe Frequenzkomponente beinhaltet, kann erhalten werden, verglichen mit einem Pixelwert, welcher nur durch Pixel derselben Farbe interpoliert wird.
Die zweite Ausführungsform der vorliegenden Erfindung wird unter Bezugnahme auf die 5A bis 5C beschrieben.
5A bis 5C zeigen eine Bildverarbeitungsoperation gemäß der zweiten Ausführungsform der vorliegenden Erfindung. 5A zeigt ein Pixelanordnungsbeispiel, 5B zeigt Filterkoeffizienten zum Berechnen eines Kompensationswertes und 5C zeigt Gleichungen, welche das Interpolationsverfahren, das Kompensationswertkalkulationsverfahren und das Kompensationsverfahren repräsentieren.
Bei der ersten Ausführungsform ist der Interpolationspunkt an einem Pixel eingestellt. Jedoch ist der Interpolationspunkt nicht durch dieselbe Position wie ein Pixel begrenzt, wobei eine Position eingestellt werden kann, welche sich von einer Pixelposition unterscheidet, d.h. zwischen Pixeln.
Bei der zweiten Ausführungsform wird ein Interpolationspunkt a zwischen Pixeln eingestellt.
In 5A wird der Interpolationspunkt a an einer eingestellten Position von dem R Pixel R₃₃, welcher als der Interpolationspunkt X₃₃ in 2A dient, auf eine obere rechte Position gesetzt, welche durch 4 Pixel, R Pixel R₃₃, G Pixel G₃₂, G Pixel G₄₃ und B Pixel B₄₂ umgeben ist.
In diesem Fall berechnet eine Interpolationseinheit 4, basierend auf der Gleichung, die in 5C gezeigt ist, jeden interpolierten Pixelwert 5 (Ga, Ra oder Ba) von peripheren Pixeln der gleichen Farbe, welche von einer Interpolationsregion 14G von 2 × 2 Pixeln oder einer Interpolationsregion 14R oder 14B von 3 × 3 Pixeln umgeben sind, welche den Interpolationspunkt a umfassen.
Gleichzeitig erzeugt eine Kompensationswert-Berechnungseinheit 6 einen Pixelkompensationswert 7 (Hfa) zum Kompensieren des Pixelwertes jedes Farbsignals an dem Interpolationspunkt a durch die in 5C gezeigte Gleichung, welche die Pixelwerte einer Vielzahl von Pixeln um den Interpolationspunkt a verwendet, welcher in einen Bereich fällt, der größer ist und die Interpolationsregion umfasst, welche von der Interpolationseinheit 4, den Filterkoeffizienten, welche in 5B gezeigt sind, und dem Kompensationsskalenfaktor (Gewichtungsfaktor) gf. verwendet wird.
Bei der Berechnung des Pixelkompensationswertes 7 werden vorbestimmte Pixel verwendet, welche in einen um den Interpolationspunkt a zentrierten Bereich fällen, wobei der Bereich größer als die Region ist, welche bei der Interpolationseinheit 4 zum Interpolieren jedes Farbwertes verwendet wird, z.B. die Kompensationsregion 15 von 4 × 4 Pixel, welche mit den Filterkoeffizienten korrespondieren.
Der interpolierte Pixelwert 5, welcher durch die Interpolationseinheit 4 berechnet wird, enthält keine hohe räumliche Frequenzkomponente in der Pixelregion, welche um den Interpolationspunkt zentriert ist. Im Gegensatz dazu enthält der Pixelkompensationswert 7 eine hohe räumliche Frequenzkomponente, welche mit der Pixelregion und den Koeffizienten korrespondiert.
Wie durch die Gleichungen gemäß 5C gegeben ist, addiert (oder integriert) eine Kompensationseinheit 8 den Pixelkompensationswert 7 zu den interpolierten Pixelwerten 5, kompensiert die interpolierten Pixelwerte 5 der entsprechenden Farbsignale und berechnet neue Pixelwerte 9 (G'a, R'a, und B'a) der entsprechenden Farbsignale an dem Interpolationspunkt a.
Die 6A bis 6C zeigen die Einstellposition des Interpolationspunktes.
In den 5A bis 5C ist der Interpolationspunkt a oben rechts von dem R Pixel R₃₃ eingestellt. Jedoch kann die Einstellposition des Interpolationspunktes a auch oben links, unten rechts oder unten links des R Pixels R₃₃ eingestellt werden, wie in den 6A bis 6C gezeigt.
In der 6A wird das Pixelanordnungsbeispiel von 5A horizontal umgekehrt (oder um 90° gedreht). Entsprechend dieser Anordnung werden die Filterkoeffizienten in 5B horizontal umgekehrt (oder um 90° gedreht).
In den 6B und 6C werden die R und B Pixel von den 5A bis 5C und 6B ausgetauscht. Die interpolierten Pixelwerte 5 werden durch Austauschen von R und B berechnet.
In jeden Fall, welcher ähnlich zu den Gleichungen von 5C ist, werden die interpolierten Pixelwerte 5 von Pixeln berechnet, welche in die Interpolationsregion von 2 × 2 Pixel oder 3 × 3 Pixel fallen, umfassend den Interpolationspunkt a, wobei der Pixelkompensationswert 7 von vorbestimmten Pixel berechnet wird, welche in die Kompensationsregion von 4 × 4 Pixeln fallen, welche größer als die Interpolationsregion ist.
In den 5A bis 5C wird der Interpolationspunkt oben rechts von dem R Pixel angeordnet. Ein Fall, worin der Interpolationspunkt an der oberen rechten Position eines G oder B Pixels angeordnet wird, korrespondiert mit jedem der Fälle, wie in den 5A und 6A bis 6C gezeigt ist.
Z.B. wenn der Interpolationspunkt a oben rechts an einem G Pixel an einer R Pixellinie angeordnet ist, stimmt die Positionsbeziehung zwischen dem Zielpixel und dem Interpolationspunkt mit der in 6A gezeigten Positionsbeziehung überein.
Verarbeitungen für sämtliche Fälle können deshalb mit den vier Mustern, welche in den 5A und 6A bis 6C gezeigt sind, ausgeführt werden.
7A und 7B zeigen die räumliche Frequenzcharakteristiken des Pixelkompensationswertes, welcher durch die Kompensationswert-Berechnungseinheit erhalten wird. 7A zeigt den Fall von 5B und 7B zeigt den Fall von 6B.
Bei diesem Beispiel ist der Kompensationsskalenfaktor gf in der HF Gleichung 32.
Auf diese Weise, immer wenn der Interpolationswert an einer von einer Pixelposition veränderten Position eingestellt wird, kann ein neuer Pixelwert ähnlich wie bei der ersten Ausführungsform berechnet werden, wobei ein hochqualitatives Bild mit einer hohen räumlichen Frequenzkomponente durch ein relativ einfaches Verfahren erhalten werden kann.
Der Pixelkompensationswert 7 wird durch Verwendung nur der Pixelwerte einer Vielzahl von Pixeln mit einem Farbsignal berechnet, welches die Helligkeitskomponente eines Bildsignals repräsentiert, wie z.B. die Verwendung nur der Pixelwerte von G Pixel eines Bildsignals mit einer Bayer-Anordnung. Aus diesem Grund kann die Kompensationseinheit 8 nur Helligkeitskomponenten für die Pixelwerte der Pixel jedes Farbsignals ohne Veränderung der Farbbalance kompensieren.
Wenn die Anzahl der Pixel an einer Seite einer Region immer ähnlich einer Region von 4 × 4 Pixeln ist, welche zum Berechnen eines Kompensationswertes verwendet werden, verändern sich die räumlichen Frequenzcharakteristiken des Pixelkompensationswertes 7 für jedes Pixel. Jedoch wird nur die Richtung des Pixelkompensationswertes verändert, wobei dessen Charakteristiken unverändert bleiben.
Ein Wechsel bei den Charakteristiken des Pixelkompensationswertes 7, welcher durch die Position des Interpolationspunktes bewirkt wird, ist kleiner als ein Fall, bei dem die Anzahl der Pixel an einer Seite ungerade ist. Somit kann ein hochqualitatives Bild erhalten werden.
8A und 8B zeigen Ausgabebeispiele eines Bildes, welches durch die zweite Ausführungsform erhalten wird. Die Ausgabebeispiele sind Interpolationsergebnisse (Simulationsergebnisse) eines Bildes
welches durch ein Einzel-CCD Farbbildabtastungselement abgetastet wird. Das ursprüngliche Bild
ist nur schwarz und weiß.
Jedes Rechteck ist eine teilweise vergrößerte Position des Bildes
(für 10 × 10 Pixel).
8A zeigt ein Ausgabebeispiel, wenn nur die gleiche Interpolation unterer Ordnung durchgeführt wird, wie dies in den 15A und 15B gezeigt ist.
8B zeigt ein Ausgabebeispiel, wenn die vorliegende Erfindung angewendet wird, welche die Filterkoeffizienten in den 2B, 3B oder 5B verwendet.
Die beiden Ausgabebeispiele werden verglichen, um herauszufinden, wie dies aus dem vergrößerten Abschnitt in 8B ersichtlich ist, dass eine Unschärfe des ursprünglichen Bildes und eine falsche Farbe (welche ursprünglich an einer Pixelposition nicht exsistiert) erzeugt wird, welches sich an einem Randabschnitt zeigt, an dem sich die Farbe von schwarz zu weiß verändert, wobei ein hochqualitatives klares Bild erhalten wird, verglichen mit 8A.
An dem vergrößerten Abschnitt in 8A werden viele Pixeln mit einer falschen Farbe erzeugt, anders als schwarz und weiß Pixel. In 8B wird die Erzeugung dieser Pixel im Wesentlichen halbiert.
Die dritte Ausführungsform der vorliegenden Erfindung wird unter Bezugnahme auf 9 beschrieben.
In 1 empfangen die Interpolationseinheit 4 und die Kompensationswert-Berechnungseinheit 6 direkt das Bildsignal 1. Bei der dritten Ausführungsform, wie in 9 gezeigt, ist eine Regionwert-Berechnungseinheit 2 zum Empfangen und Vorverarbeiten eines Bildsignals 1 vorgesehen, wobei das Bildsignal 1 danach einer Interpolationseinheit 4A und einer Kompensationswert-Berechnungseinheit 6A zugeführt wird.
In 9 empfängt die Regionwert-Berechnungseinheit 2 das Bildsignal 1 und gibt die Summe der Pixelwerte der Pixeln, welche zu den entsprechenden Pixelregionen gehören, als Regionwerte 3 für die entsprechenden Pixelregionen aus, welche vorab auf einer Untermatrix eingestellt sind, welche aus einer von Vielzahl von Pixeln hergestellt ist, umfassend den Interpolationspunkt als das Zentrum.
Die Regionwerte 3, welche durch die Regionwertekalkulationseinheit 2 berechnet werden, werden parallel synchron mit dem Empfang eines Pixelblocks ausgegeben.
Die durchgeführten Verarbeitungen bei der Interpolationseinheit 4A und der Kompensationswert-Berechnungseinheit 6A sind die gleichen, wie bei der Interpolationseinheit 4 und der Kompensationswert-Berechnungseinheit 6 in 1, ausgenommen, dass die Interpolationseinheit 4A und die Kompensationswert-Berechnungseinheit 6A nicht direkt das Bildsignal 1 empfangen, jedoch wahlweise die Regionwerte 3 verwenden, welche von der Regionwertekalkulationseinheit 2 parallel ausgegeben werden, um sequentiell interpolierte Pixelwerte 5 und einen Pixelkompensationswert 7 an dem Interpolationspunkt auf der korrespondierenden Submatrix zu berechnen und auszugeben.
Die 10A bis 10C zeigen die Funktionsweise der Regionwertekalkulationseinheit. 10A zeigt die zweidimensionale Bildebene eines Bildsignals, 10B zeigt eine Submatrix bzw. Untermatrix und 10C zeigt Regionen, welche auf der Submatrix eingestellt sind.
Wie in 10A gezeigt, empfängt die Regionwertekalkulationseinheit 2 sequentiell Pixelwerte, welche das Bildsignal 1 durch eine vorbestimmte Anzahl von Pixellinien (j-Richtung) bilden, wie z.B. fünf Pixellinien als die Anzahl der Pixelli nien, welche zum Berechnen des Pixelkompensationswertes 7 parallel zueinander in Einheiten von Einzelpixelspalten als Pixelblöcke 21 notwendig sind.
Wie in 10B gezeigt, wird eine Submatrix 22 von den Pixelblöcken 21 gebildet, welche mit fünf Pixelspalten als eine vorbestimmte Anzahl von erfolgreich empfangenen Pixelspalten (i-Richtung) korrespondieren, wie z.B. die Anzahl der Pixelspalten, welche zum Berechnen des Pixelkompensationswertes 7 notwendig ist.
Danach verändert sich die Submatrix 22 durch einen Pixel in der i-Richtung auf der zweidimensionalen Bildebene.
Für entsprechende Regionen A bis F, welche vorab auf der Submatrix 22 eingestellt sind, welche sich auf diese Weise konstituieren, wie in 10C gezeigt, berechnet die Regionwert-Berechnungseinheit 2 die Summen, d.h. die Regionwerte 3 der Pixelwerte der Pixel, welche zu den entsprechenden Pixelregionen gehören. Danach gibt die Regionwertekalkulationseinheit 2 parallel die Regionwerte synchron mit dem Empfang des Pixelblockes 21 aus.
Die Interpolationseinheit 4A und die Kompensationswertekalkulationseinheit 6A verwenden wahlweise die parallel ausgegebenen Regionwerte, wobei sequentiell interpolierte Pixelwerte und ein Pixelkompensationswert an dem Interpolationspunkt auf der korrespondierenden Submatrix berechnet und ausgegeben werden.
Diese Pixelregionen sind eingestellt, basierend auf Gleichungen, welche durch die Interpolationseinheit 4A und die Kompensationswert-Berechnungseinheit 6A verwendet werden. 10C zeigt die Pixelregionen A bis F, wenn das Interpolations verfahren und das Pixelkompensationswertekalkulationsverfahren bei der ersten Ausführungsform verwendet wird.
Ein Fall, bei dem die Pixelregionen A bis F eingestellt werden, wird anhand eines Beispieles erläutert.
11 zeigt eine Anordnung der Regionwertekalkulationseinheit.
In 11 werden die Veränderungsregister mit den Bezugszeichen 121 bis 125 bezeichnet, welche jeweils aus vier in Serie verbundenen 1-Pixel Taktverzögerungen 211 bis 214, 221 bis 224, 231 bis 234, 241 bis 244 oder 251 bis 254 gebildet sind. Die Veränderungsregister 121 bis 125 sind parallel zueinander für die Pixelwerte Vil bis Vi5 der Pixelblöcke 21 angeordnet.
Die 1-Pixel Taktverzögerung (nachfolgend bezeichnet als eine Verzögerung) ist ein Sperrschaltkreis zum Verzögern und Ausgeben eines Eingabepixelwertes synchron mit einem Zeitsignal in der Pixellinienrichtung (i-Richtung).
Wenn fünf erfolgreiche Pixelblöcke 21 sequentiell empfangen worden sind, geben die Verzögerungen der Veränderungsregister 121 bis 125 Pixelwerte an Pixelpositionen an der Submatrix 22 aus.
Für die Pixelregionen addieren die Additionsschaltungen bzw. die Addierer 201 bis 207 sämtliche Pixel, welche zu den entsprechenden Pixelregionen gehören und von den entsprechenden Verzögerungen ausgegeben werden, wodurch entsprechende Regionwerte erhalten werden.
Z.B. die Additionsschaltung 201 addiert die Ausgaben von den Verzögerungen 221, 223, 241 und 243, welche mit der Region A in 10C korrespondieren, um einen Regionwert A zu erhalten.
Die Regionwert-Berechnungseinheit 2 berechnet die Regionwerte 3 von der empfangenen Submatrix 22, und gibt diese parallel aus.
12 zeigt ein Anordnungsbeispiel der Interpolationseinheit und der Kompensationswert-Berechnungseinheit.
Die Interpolationseinheit 4A konstituiert sich durch R, B und G Interpolationseinheiten 41, 42 und 43 zum Durchführen von Interpolationsverfahren, betreffend entsprechende R, B und G Pixel.
Die Interpolationseinheiten 41 bis 43 berechnen parallel eine Vielzahl von interpolierten Pixelwerten, welche mit der Position des Interpolationspunktes korrespondieren, wobei Integratoren (Teiler) und Addierer bzw. Additionsschaltungen verwendet werden.
Korrespondierende interpolierte Pixelwerte werden durch die Selektoren 41A bis 43A ausgewählt, welche auf O/E und R/B Signale oder nur auf dem O/E Signal basieren, welche die Position eines aktuellen Interpolationspunktes repräsentieren, wobei diese als interpolierte Pixelwerte 5 (R, B und G) an dem Interpolationspunkt ausgegeben werden.
Es ist zu beachten, dass das R/B Signal repräsentiert, ob der Interpolationspunkt an einer R oder B Pixellinie ist und das O/E Signal repräsentiert, ob der Interpolationspunkt an einem G Pixel ist.
In ähnlicher Weise berechnet die Kompensationswert-Berechnungseinheit 6A ebenso parallel eine Vielzahl von interpolierten Pixelwerten, welche mit der Position des Interpolationspunktes korrespondieren, wobei Integratoren (Teiler) und Additionsschaltungen verwendet werden.
Ein korrespondierender interpolierter Pixelwert wird durch einen Selektor 61 ausgewählt, welcher auf dem O/E Signal basiert, wobei die Position eines aktuellen Interpolationspunktes repräsentiert und als ein Pixelkompensationswert 7 (HF) an dem Interpolationspunkt ausgegeben wird.
Als Filterkoeffizienten zum Berechnen eines Pixelkompensationswertes werden Koeffizienten verwendet werden, deren Summen quadriert und die Summe von einem quadriert wird. Mit dieser Einstellung kann der durch die Kompensationswert-Berechnungseinheit 6A verwendete Integrator (Teiler) von einem Bildschaltkreis gebildet werden, welcher wesentlich die Schaltkreisanordnung vereinfacht.
13 zeigt eine Anordnung einer Kompensationseinheit.
In 13 wird mit der Bezugszahl 81 eine Integrationseinheit bezeichnet, welche aus einer Vielzahl von Integratoren zum Integrieren (Dividieren) der Pixelkompensationswerte 7 durch Quadrieren gebildet sind. Die entsprechenden Integratoren sind parallel zueinander verbunden.
Bezugszahl 82 bezeichnet eine Additionsschaltung für das wahlweise Addieren wenigstens einer Ausgabe von den Integratoren der Integrationseinheit 81, welche auf dem Kompensationsskalenfaktor (Gewichtsfaktor) gf basiert.
Bezugszahl 84 bezeichnet eine Additionsschaltung zum individuellen Addieren einer Ausgabe 83 von der Additionsschaltung 82 mit dem interpolierten Pixelwerten 5 (R, B und G), wobei die Summen als neue Pixelwerte 9 (R', B' und G') an dem Interpolationspunkt ausgegeben werden, welche mit dem Pixelkompensationswert 7 kompensiert sind.
Durch willkürlich ausgewählte Ausgaben des Kompensationsskalenfaktors gf, kann der interpolierte Pixelwert 5 durch eine Intensität, korrespondierend mit gf, kompensiert werden.
Da die Integrationseinheit 81 durch eine Vielzahl von Integratoren zum Integrieren der Werte zum Quadrat konstituiert ist, kann ein willkürlicher Kompensationsskalenfaktor gf mit dem Pixelkompensationswert 7 mit einer einfachen Schaltungsanordnung integriert werden.
Wenn der Bezugslevel des Pixelkompensationswertes 7 gemäß der Position des Interpolationspunktes verändert wird, kann gf automatisch entsprechend mit den Positionsinformationen des Interpolationspunktes umgeschaltet werden, um den Bezugslevel des Pixelkompensationswertes 7 einzustellen.
Wie oben beschrieben, verwendet die dritte Ausführungsform die Regionwertekalkulationseinheit 2. Die Regionwert-Berechnungseinheit 2 berechnet die Summen der Pixelwerte von Pixeln, welche zu den entsprechenden Pixelregionen gehören, da die Regionwerte 3 für die entsprechenden Pixelregionen vorab auf der Submatrix 22 eingestellt werden, werden die Regionwerte 3 synchron mit dem Empfang des Pixelblocks 21 parallel ausgegeben. Die Interpolationseinheit 4A und die Kompensationswert-Berechnungseinheit 6A verwenden wahlweise die parallel ausgegebenen Regionwerte, wobei die interpolierten Pixelwerte und ein Kompensationswert an den Interpolations wert auf der korrespondierenden Submatrix 22 sequentiell berechnet und ausgegeben werden.
Die Submatrix verändert sich auf der zweidimensionalen Bildebene des Bildsignals 1 synchron mit dem Empfang des Pixelblocks 21. Gleichzeitig wird ein mit dem Pixelkompensationswert 7 kompensierter neuer interpolierter Pixelwert als der interpolierte Pixelwert jedes Farbsignals an dem Interpolationspunkt erhalten, korrespondierend mit der Submatrix. Dieses realisiert ein Pipeline-Verfahren, synchronisierend mit dem Empfang des Pixelblockes 21.
Ein interpolierter Pixelwert für eine höhere Bildqualität kann bei einer höheren Geschwindigkeit berechnet werden, verglichen mit einem Fall, bei dem das Interpolationsverfahren durch numerische Berechnung durchgeführt wird, welche DSP oder dergleichen verwendet.
Die dritte Ausführungsform wird anhand der ersten Ausführungsform beschrieben. Die dritte Ausführungsform kann vereinfacht bei der zweiten Ausführungsform durch Konstitution des Schaltkreises gemäß der Anzahl der Pixellinien und der Pixelspalten angewendet werden, welche zum Kompensationswertkalkulationsverfahren notwendig sind. In diesem Fall werden die gleichen Effekte, wie oben beschrieben, erhalten.
Wenn die dritte Ausführungsform bei der zweiten Ausführungsform angewendet wird, verringert sich die Anzahl der notwendigen Pixel, wobei die Anzahl der Sperrungen für den Speicherpuffer oder die Verzögerung verringert werden und der notwendige Schaltkreisbereich reduziert wird.
Speziell die Verringerung bezüglich der Anzahl der Linien der Daten, welche in dem Speicherpuffer gehalten werden, ist sehr effektiv für ein Bildabtastgerät, wie z.B. bei einer neuesten Digitalkamera mit einer großen Zahl von Pixeln.
Die vierte Ausführungsform der vorliegenden Erfindung wird beschrieben.
14 zeigt die Anordnung eines Bildverarbeitungsgerätes gemäß der vierten Ausführungsform der vorliegenden Erfindung.
Bei den oben beschriebenen Ausführungsformen wird der durch die Interpolationseinheit 4 oder 4A erhaltene interpolierte Pixelwert 5 mit dem Pixelkompensationswert 7 kompensiert. Jedoch die vorliegende Erfindung wird nicht dadurch beschränkt, da der interpolierte Pixelwert 5 auch mit dem Pixelkompensationswert 7 kompensiert werden kann, nachdem der Wert 5 verschiedenen Verfahren unterworfen wird.
Z.B. in 14A ist eine Farbkorrektureinheit 11A zwischen einer Interpolationseinheit 4 und einer Kompensationseinheit 8 vorgesehen. Nach dem ein interpolierter Pixelwert 5 einer Farbbalancekorrektur unterworfen wird, wird dieser mit einem Pixelkompensationswert 7 kompensiert.
In 14B ist eine Signalumwandlungseinheit 11B zwischen der Interpolationseinheit 4 und der Kompensationseinheit 8 vorgesehen. Nach dem der interpolierte Pixelwert 5 in unterschiedliche Helligkeitssignale und unterschiedliche Farbsignale umgewandelt wird, wird das Helligkeitssignal mit dem Pixelkompensationswert 7 kompensiert.
Wie oben beschrieben, wird der interpolierte Pixelwert kompensiert durch die Verwendung des Pixelkompensationswertes 7, sodass einheitlich kompensierte Pixelwerte für entsprechende Farbsignale vorgesehen sind, um den Helligkeitswert zu kompensieren.
Wenn der interpolierte Pixelwert 5 einer Farbbalancekorrektur unterworfen wird, wie in 14A gezeigt, wird dieser mit dem Pixelkompensationswert 7 nach der Farbbalancekorrektur kompensiert. Pixelwerte können gleichmäßiger für entsprechende Farbsignale kompensiert werden und der Helligkeitswert an dem Interpolationspunkt kann genauer kompensiert werden, als bei einem Fall, bei dem die Farbbalance später korrigiert wird.
Wenn der interpolierte Pixelwert 5 ebenso in unterschiedliche Helligkeitssignale und unterschiedliche Farbsignale umgewandelt wird, wie in 14 gezeigt, wird das Helligkeitssignal mit dem Pixelkompensationswert 7 nach dem Signalumwandlungsverfahren kompensiert. Der Helligkeitswert an dem Interpolationspunkt kann genauer kompensiert werden, als in einem Fall, bei dem das Signalumwandlungsverfahren später durchgeführt wird.
In 14C ist eine Gammakorrektureinheit 11C zwischen der Interpolationseinheit 4 und der Kompensationseinheit 8 angeordnet. Nach dem der interpolierte Pixelwert 5 einer Gammakorrektur unterworfen wird, wird das Helligkeitssignal mit dem Pixelkompensationswert 7 kompensiert.
Eine allgemeine Gammakorrektur komprimiert die Helligkeit zu einer Hochfrequenzregion. Durch die Kompensation des Helligkeitssignals mit dem Pixelkompensationswert 7 nach der Gammakorrektur, kann ein verlorener Kontrast wieder hergestellt werden.
In diesem Fall, wenn die Kompensation mit dem Pixelkompensationswert 7 angesteuert wird, welcher auf Statistiken basiert, wird eine Helligkeit um dem Interpolationspunkt repräsentiert, wobei ein verlorener Kontrast wahlweise für eine gewünschte Helligkeitsregion wiederhergestellt werden kann.
Bei den oben beschriebenen Ausführungsformen wird der Pixelkompensationswert durch die Verwendung von in einem quadratischen Bereich liegenden Pixel berechnet. Jedoch wird die vorliegende Erfindung nicht dadurch beschränkt. Es können auch Pixel aus einem rechteckigen Bereich verwendet werden.
Z.B. bei der zweiten Ausführungsform (siehe 5A bis 5C) wird der Pixelkompensationswert von einem Bereich von 4 × 5 Pixel mit einer Länge entsprechend von 5 Pixel in die i-Richtung berechnet. In diesem Fall kann der Kompensationswert mit einer hohen räumlichen Frequenz nicht nur in der Richtung der G Pixel G₂₁, G₃₂, G₄₃ und G₅₄, sondern auch in der Richtung der G Pixel G₄₁, G₃₂, G₂₃ und G₁₄ gemäß 5A berechnet werden.
Wie oben beschrieben, verwendet die vorliegende Erfindung eine Kompensationswert-Berechnungseinheit zum Erzeugen eines Pixelkompensationswertes für die Kompensation des Pixelwertes des Interpolationspunktes, verwendend die Pixelwerte einer Vielzahl von Pixeln um den Interpolationspunkt herum, welche in eine Kompensationsregion fallen, welche größer ist und eine Interpolationsregion umfasst, welche durch eine Interpolationseinheit verwendet wird. Der interpolierte Pixelwert jedes Farbsignals an dem Interpolationspunkt, welcher von der Interpolationseinheit ausgegeben wird, wird kompensiert durch die Verwendung des Pixelkompensationswertes, korrespondierend mit dem Interpolationspunkt, der durch die Kompensationswert-Berechnungseinheit erhalten wird. Der kompensierte Wert wird als ein neuer Pixelwert für jedes Farbsignal an dem Interpolationspunkt ausgegeben.
Für die räumliche Frequenz in der Pixelregion um den Interpolationspunkt wird eine hohe räumliche Frequenzkomponente, welche nicht durch Interpolation mit unterer Ordnung in der Interpolationseinheit erhalten werden kann, durch die Verwendung des Pixelkompensationswertes kompensiert. Ein neuer Pixelwert mit räumlichen Frequenzcharakteristiken, welche durch den Bereich und die Koeffizienten der Kompensationsregion bestimmt werden, wird erhalten.
Konsequenterweise kann im Gegensatz zum Stand der Technik ein hochqualitatives Bild mit einer Hochfrequenzkomponente durch ein relativ einfaches Verfahren erhalten werden, ohne eine Interpolation höherer Ordnung für alle Farbsignale durchzuführen, welche die Pixelwerte von Pixeln in einem weiten Bereich verwendet oder ein kompliziertes Interpolationsverfahren unter variierenden Bedingungen durchführt, um den Interpolationspunkt zu erhalten.

Claims

Bildverarbeitungsgerät zur Interpolation eines Bildsignals (1), welches aus mehreren Pixel zusammengesetzt ist, welche auf einer zweidimensionalen Ebene angeordnet sind, und einen Pixelwert haben, welcher zu jedem einer Vielzahl von Farbsignalen jedes Pixel korrespondieren, wobei ein Pixelwert an einem beliebigen Interpolationspunkt auf der zweidimensionalen Ebene durch Pixelwerte von peripheren Pixel angeordnet ist, und wobei ein Bildsignal mit Pixelwerten von jedem der Farbsignale für jeden Interpolationspunkt erzeugt werden, gekennzeichnet dadurch, dass eine Interpolationseinheit (4) zum Interpolieren eines Pixelwertes jedes Farbsignals an dem Interpolationspunkt vorgesehen ist, wobei Pixelwerte derselben Farbe verwendet werden, welche in eine vorbestimmte Interpolationsregion fallen, umfassend den Interpolationspunkt, und wobei der Pixelwert als ein interpolierter Pixelwert (5) an dem Interpolationspunkt für jedes Farbsignal ausgegeben wird; dass eine Kompensationswert-Berechnungseinheit (6) zum Erzeugen eines Pixel-Kompensationswertes (7) zum Kompensieren eines Pixelwertes des Interpolationswertes vorgesehen ist, welcher Pixelwerte einer Vielzahl von Pixel um den Interpolationspunkt herum verwendet, welche in eine Kompensationsregion fallen, welche zumindest die Interpolationsregion umfasst; und dass eine Kompensationseinheit (8) zum Kompensieren des interpolierten Pixelwertes (5) jedes Farbsignals an dem Interpolationspunkt vorgesehen ist, der von der besagten Interpolationseinheit (4) ausgegeben wird, in dem der Pixel-Kompensationswert (7) verwendet wird, welcher mit dem Interpolationspunkt korrespondiert, welcher durch die besagte Kompensationswert-Kalkulationseinheit erhalten wird, und wobei der kompensierte interpolierte Pixelwert als ein neuer Pixelwert (9) jedes Farbsignals an dem Interpolationspunkt ausgegeben wird.
Gerät nach Anspruch 1, wobei die besagte Interpolationseinheit (4) den interpolierten Pixelwert (5) an einem Interpolationspunkt an derselben Position als ein beliebiges Pixel oder zwischen benachbarten Pixel berechnet und ausgibt.
Gerät nach Anspruch 1, wobei die besagte Kompensationswert-Kalkulationseinheit (6) einen Pixel-Kompensationswert erzeugt, welcher mit dem Interpolationspunkt korrespondiert, welcher Pixelwerte einer Vielzahl von Pixel mit einem Farbsignal verwendet, welches eine Helligkeitskomponente des Bildsignals (1) zwischen Pixel um dem Interpolationspunkt repräsentiert.
Gerät nach Anspruch 1, wobei die besagte Interpolationseinheit (4) und die besagte Kompensationswert-Kalkulationseinheit (6) einen interpolierten Pixelwert und einen Pixel-Kompensationswert an einem Interpolationspunkt auf einer Submatrix (22) sequentiell berechnet und ausgibt, wobei Pixelwerte von Pixel verwendet werden, welche von der Submatrix (22) umfasst werden, welche sequentiell als Pixelblocks (21) von dem Bildsignal (1) durch eine vorbestimmte Anzahl von Pixellinien sequentiell empfangen werden, welche parallel zueinander in Einheiten von einfachen Pixelspalten und aus einer vorbestimmten Anzahl von erfolgreich empfangenen Pixelblöcken (21) zusammengesetzt sind.
Gerät nach Anspruch 1, wobei das besagte Gerät ferner eine Regionswert-Kalkulationseinheit (2) zum sequentiellen Empfangen von Pixelwerten umfasst, welche das Bildsignal (1) als Pixelblöcke (21) mit einer vorbestimmten Anzahl von Pixellinien bilden, welche parallel zueinander in Einheiten von Einfachpixelspalten sind, welche eine Submatrix (22) durch die vorbestimmte Anzahl von erfolgreich empfangenen Pixelblöcken (21) konstituieren, wobei die Summen der Pixelwerte der Pixel zugehörig zu den jeweiligen Regionssätzen im voraus von der Submatrix (22) als Regionswerte der jeweiligen Regionen berechnet werden, und wobei die Regionswerte synchron mit dem Empfang des Pixelblocks parallel ausgegeben werden, und wobei eine Interpolationseinheit (4A) und eine Kampensationswert-Kalkulationseinheit (6A) vorgesehen sind, welche selektiv die Regionswerte (3) verwenden, welche parallel von der besagten Regionswerte-Kalkulationseinheit (2) ausgegeben werden, und wobei ein sequentieller Berechnen sowie Ausgeben eines interpolierten Pixeluiertes und eines Pixel-Kompensationswertes an einem Interpolationspunkt auf einer korrespondierenden Submatrix vorgesehen ist.
Gerät nach Anspruch 1, wobei die besagte Interpolationseinheit (4) einen interpolierten Pixelwert an einend Interpolationspunkt aus einer Summe von Produkten der Pixelwerte der Pixel berechnet wird, welche in der Interpolationskalkulation und bei den Koeffizenten verwendet werden, welche mit den Pixel korrespondieren, und wobei als Koeffizienten Koeffizienten verwendet werden, welche die Summen der Potenzen von 2 sind und die Summe, die eine Potenz von 2 ist.
Gerät nach Anspruch 1, wobei die besagte Kompensationswert-Kalkulationseinheit (6) einen Kompensationswert aus einer Summe von Produkten von Pixelwerten der Pixel berechnet, welche bei der Kompensationswert-Kalkulation und den Koeffizienten verwendet wird, welche mit den Pixel korrespondieren und wobei als Koeffizienten die Koeffizienten verwendet werden, welche die Summen der Potenzen von 2 sind und die Summe eine Potenz von 2 ist.
Gerät nach Anspruch 1, wobei das besagte Gerät ferner eine Farbkorrektureinheit (11A) zum Ausführen von Farbkorrekturprozessen für ein interpoliertes Bildsignal umfasst, welches aus dem interpolierten Pixelwert hergestellt ist, welcher durch die besagte Interpolationseinheit erhalten wird, und die besagte Kompensationseinheit (8) den Pixei-Kompensationswert (7) verwendet, welcher durch die besagte Kompensationswert-Kalkulationseinheit (6) erhalten wird, um jeden Pixelwert nach der Farbkorrektur durch die besagte Farbkorrektureinheit (11A) zu kompensieren und auszugeben, anstelle des interpolierten Pixelwertes von der besagten Interpolationseinheit (4).
Gerät nach Anspruch 1, wobei das besagte Gerät ferner eine Signalkonvertierungseinheit (11B) zum Konvertieren eines interpolierten Bildsignals umfasst, welches aus dem interpolierten Pixelwert hergestellt ist, welcher durch die besagte Interpolationseinheit (4) bezogen auf die Helligkeit und die Farbe in unterschiedlichen Signalen erhalten wird, und wobei die besagte Kompensationseinheit (8) die Pixelkompensationswerte (7) verwendet, welche durch die besagte Kompensationswert-Kalkulationseinheit (6) erhalten wird, um das Helligkeitssignal zu kompensieren und auszugeben, welches durch die besagte Signalkonvertierungseinheit (11B) erhalten wird, anstelle des interpolierten Pixelwertes von der besagten Interpolationseinheit (4).
Gerät nach Anspruch 1, wobei das besagte Gerät ferner eine Gamma-Korrektureinheit (11C) zum Ausführung von Gamma-Korrekturprozessen für ein interpoliertes Bildsignal umfasst, welches aus dem interpolierten Pixelwert hergestellt ist, das durch die besagte Interpolationseinheit (4) erhalten wird, und wobei die besagte Kompensationseinheit (8) den Pixel-Kompensationswert (7) verwendet, welcher durch die besagte Kompensationswert-Kalkulationseinheit (6) erhalten wird, um jeden Pixelwert nach der Gamma-Korrektur durch die besagte Gamma-Korrektureinheit (11C) zu kompensieren und auszugeben, anstelle des interpolierten Pixelwertes von der besagten Interpolationseinheit (4).