DE60224125T2

DE60224125T2 - Signalverarbeitungsgerät, Signalverarbeitungsverfahren des Geräts, Operationsprozessprogramm des Verfahrens und Speichermedium zum Speichern des Programms

Info

Publication number: DE60224125T2
Application number: DE60224125T
Authority: DE
Inventors: Shinya Ohta-ku Hirai
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2001-02-06
Filing date: 2002-02-05
Publication date: 2008-12-04
Anticipated expiration: 2022-02-06
Also published as: CN1194554C; CN1371210A; DE60224125D1; EP1229743A2; US20020140833A1; JP3862506B2; US7053940B2; JP2002232904A; EP1229743A3; EP1229743B1

Description

Die Erfindung bezieht sich auf ein Signalverarbeitungsgerät, das sich für eine Verwendung in Verbindung mit einer digitalen Stehbildkamera eignet und ein Helligkeitssignal oder ein Farbsignal aus den Ausgangssignalen einer eine Vielzahl von unterschiedlichen Filtertypen aufweisenden Bildsensoreinrichtung erzeugt, sowie auf ein Signalverarbeitungsverfahren dieses Gerätes.
Bei einer üblichen Einzelsensor-Kamera, bei der eine Bildsensoreinrichtung wie ein CCD-Bildsensor Verwendung findet, ist auf jedem Bildelement der Bildsensoreinrichtung ein Farbfilter eines bestimmten Typs aus einer Anzahl von Typen (z. B. für eine der drei Farben R, G und B) ausgebildet, wobei in diesem Zusammenhang die in 1 dargestellte Bayer-Anordnung allgemein bekannt ist.
Bei einer Einzelsensor-Kamera mit dieser Bayer-Anordnung wird somit für jedes Bildelement eine Farbinformation nur in Bezug auf eine der Farben R, G und B erhalten. Um für jedes Bildelement Farbinformationen in Bezug auf sämtliche Farben R, G und B zu erhalten, muss daher eine Interpolation durch eine nachgeschaltete Schaltungsanordnung erfolgen. Das einfachste Interpolationsverfahren besteht darin, sämtliche Farbsignalwerte mit Ausnahme eines zu interpolierenden Farbsignals auf den Wert 0 zu setzen und für jedes Bildelement eine zweidimensionale Tiefpassfilterverarbeitung (TPF-Verarbeitung) vorzunehmen, wodurch dann ein Interpolationswert erhalten wird.
Wenn jedoch einfach nur diese zweidimensionale TPF-Verarbeitung in der vorstehend beschriebenen Weise durchgeführt wird, gehen Hochfrequenzanteile des Frequenzverlaufs des interpolierten Bildes verloren, was zu einem unscharfen und verschwommenen Bild führt.
Zur Lösung dieses Problems ist bereits ein Verfahren vorgeschlagen worden, bei dem die TPF-Verarbeitung in Abhängigkeit von den Eigenschaften eines Bildes erfolgt. Wenn z. B. festgestellt wird, dass ein gewisser Bereich eines Bildes aus einem in Vertikalrichtung verlaufenden Längsstreifen besteht, wird die TPF-Verarbeitung nur in der Querrichtung des Bildes durchgeführt, während im Falle eines bestimmten Bildanteils in Form eines Querstreifens die TPF-Verarbeitung nur in der Längsrichtung des Bildes erfolgt. Wenn hierbei ein bestimmter Anteil des Bildes wellenartig zwischen Längsstreifen und Querstreifen verläuft, werden die in der Querrichtung des Bildes erfolgende TPF-Verarbeitung und die in der Längsrichtung des Bildes erfolgende TPF-Verarbeitung jeweils in Abhängigkeit von der Welligkeit gewichtet, wodurch eine Interpolation eines Farbsignals erhalten wird.
Bei diesem bekannten Verfahren wird jedoch die Abtastung eines Bildes (z. B. in Form eines Längsstreifenmusters oder eines Querstreifenmusters) mit einer in der Nähe der Nyquist-Frequenz der Bildsensoreinrichtung liegenden Frequenz nicht in Betracht gezogen.
Eine in der Nähe der Nyquist-Frequenz der Bildsensoreinrichtung liegende Frequenz führt nämlich zu einem mehrdeutigen Signal, sodass die Feststellung, ob es sich bei einem Bildanteil um einen Längsstreifen oder einen Querstreifen handelt, mit Schwierigkeiten verbunden ist, was dann zu einer fehlerhaften Unterscheidung zwischen Längsstreifen und Querstreifen führen kann. So kann z. B. bei einem tatsächlich in Form eines Querstreifens vorliegenden Motivanteil die TPF-Verarbeitung in Längsrichtung fehlerhaft bei einem bestimmten zu interpolierenden Bildelement erfolgen, während anschließend eine TPF-Verarbeitung in Querrichtung bei dem nächsten zu interpolierenden Bildelement durchgeführt wird. Auf diese Weise kann somit keine kontinuierliche angemessene Farbsignalinterpolation erfolgen.
Zusammenfassung der Erfindung
Die Erfindung ist unter Berücksichtigung des vorstehend beschriebenen Standes der Technik konzipiert worden, wobei ihr die Aufgabe zu Grunde liegt, ein Signalverarbeitungsgerät sowie ein Signalverarbeitungsverfahren anzugeben, durch die eine zweckmäßige Farbsignalinterpolation auch dann erfolgen kann, wenn ein Bildsignal in der Nähe der Nyquist-Frequenz einer Bildsensoreinrichtung auftritt.
Erfindungsgemäß wird diese Aufgabe gelöst durch ein Signalverarbeitungsgerät nach Patentanspruch 1.
Weiterhin wird diese Aufgabe erfindungsgemäß gelöst durch ein Signalverarbeitungsverfahren nach Patentanspruch 14.
Vorteilhafte Ausgestaltungen der Erfindung sind in den jeweiligen Unteransprüchen angegeben.
Erfindungsgemäß wird außerdem ein Betriebsprozessprogramm nach Patentanspruch 22 angegeben.
Darüber hinaus wird erfindungsgemäß ein Speichermedium nach Patentanspruch 23 angegeben.
Weitere Zielsetzungen und Vorteile ergeben sich für den Fachmann aus der nachstehenden Beschreibung von bevorzugten Ausführungsbeispielen der Erfindung, die in Verbindung mit den zugehörigen Zeichnungen erfolgt. Es sei jedoch darauf hingewiesen, dass die Beschreibung natürlich nicht sämtliche denkbaren Ausführungsbeispiele der Erfindung umfasst und somit auch keinen einschränkenden Charakter in Bezug auf den durch die Patentansprüche gegebenen Schutzumfang der Erfindung hat. In den Fig. zeigen:
1 eine schematische Darstellung einer Bayer-Anordnung als Farbfilteranordnung bei einer Bildsensoreinrichtung in Form eines Einzelsensors,
2 ein Blockschaltbild, das den Aufbau eines Signalverarbeitungsgerätes gemäß einem ersten Ausführungsbeispiel veranschaulicht,
3 eine schematische Darstellung einer Farbfilteranordnung bei einer Bildsensoreinrichtung gemäß dem ersten Ausführungsbeispiel,
4 eine schematische Darstellung einer versetzten Abtastanordnung als Farbfilteranordnung bei einer Bildsensoreinrichtung in Form eines Einzelsensors,
5 ein Operationsablaufdiagramm des Signalverarbeitungsgerätes gemäß dem ersten Ausführungsbeispiel der Erfindung,
6 ein Blockschaltbild, das den Aufbau eines Signalverarbeitungsgerätes gemäß einem zweiten Ausführungsbeispiel veranschaulicht,
7A und 7B schematische Darstellungen von Hochpassfiltern bei dem zweiten Ausführungsbeispiel,
8 ein Blockschaltbild, das den Aufbau eines Signalverarbeitungsgerätes gemäß einem dritten Ausführungsbeispiel veranschaulicht,
9 ein Blockschaltbild, das den Aufbau eines Signalverarbeitungsgerätes gemäß einem vierten Ausführungsbeispiel veranschaulicht, und
10 ein Schaubild, das die Funktion einer Positiv/Negativ-Bestimmungsverstärkungsschaltung 19 des vierten Ausführungsbeispiels veranschaulicht.
DETAILLIERTE BESCHREIBUNG BEVORZUGTER AUSFÜHRUNGSBEISPIELE
Nachstehend werden bevorzugte Ausführungsbeispiele der Erfindung unter Bezugnahme auf die zugehörigen Zeichnungen im einzelnen beschrieben. Hierbei wird davon ausgegangen, dass bei jedem Ausführungsbeispiel die in 1 dargestellte Bayer-Anordnung als Farbfilteranordnung einer Bildsensoreinrichtung Verwendung findet, jedoch kann auch die Verwendung einer anderen Farbfilteranordnung in Betracht gezogen werden.
Erstes Ausführungsbeispiel
2 zeigt ein Blockschaltbild des Aufbaus eines Signalverarbeitungsgerätes gemäß einem ersten Ausführungsbeispiel der Erfindung.
Wie 2 zu entnehmen ist, korrigiert eine Weißabgleichsschaltung (WB) 1 den Weißabgleich eines Bildsignals. Der Weißabgleichsschaltung 1 wird hierbei ein von einer Bildsensoreinrichtung abgegebenes und einer Analog/Digital-Umsetzung unterzogenes Bildsignal zugeführt.
Eine G-Interpolationsschaltung 2 führt für jedes Bildelement eine G-Signalinterpolation durch. In ähnlicher Weise führen eine R-Interpolationsschaltung 15 eine R-Signalinterpolation und eine B-Interpolationsschaltung 16 eine B-Signalinterpolation durch.
Eine Vertikal/Lateral-Beurteilungsschaltung 10 beurteilt, ob es sich bei einem Bildanteil um einen vertikalen Längsstreifen, einen Querstreifen oder ein zwischen einem Längsstreifen und einem Querstreifen liegendes Bildelement handelt. Eine Absolutwert-Umsetzungsschaltung 13 setzt das von der Vertikal/Lateral-Beurteilungsschaltung 10 abgegebene Ausgangsparametersignal in einen Absolutwert um. Auf die von der Vertikal/Lateral-Bestimmungsschaltung 10 und der Absolutwert-Umsetzungsschaltung 13 durchgeführten Signalbildungs- und Signalverarbeitungsvorgänge wird nachstehend noch näher eingegangen.
Eine Aperturkorrekturschaltung 14, die nachstehend vereinfacht auch als APC-Schaltung 14 bezeichnet ist, korrigiert die Apertur des von der G-Interpolationsschaltung 2 abgegebenen G-Signals, wobei diese APC-Schaltung zur Durchführung einer Aperturkorrektur auch der R-Interpolationsschaltung 15 und der B-Interpolationsschaltung 16 jeweils nachgeschaltet ist.
Durch die vorstehend beschriebenen Interpolationsvorgänge werden sämtliche R-, G- und B-Signale entsprechend den einzelnen Bildelementpositionen erhalten. Außerdem wird anschließend ein Helligkeitssignal Y in der nachstehenden Weise gebildet: Y = 0,3R + 0,59G + 0,11B
Zur Vereinfachung der Beschreibung wird bei diesem ersten sowie weiteren Ausführungsbeispielen nur die Interpolation in Bezug auf ein G-Signal näher beschrieben, da die Interpolation für R- und B-Signale in ähnlicher Weise erfolgt.
Nachstehend wird der Aufbau der G-Interpolationsschaltung 2 näher beschrieben.
Eine Null-Einfügungsschaltung 3 setzt den Wert 0 als Ausgangssignalwert für andere Bildelemente als ein Bildelement mit einer zu interpolierenden Farbe ein, d. h. z. B. bei einem Bildelement mit einem G-Filter.
Ein zweidimensionales Tiefpassfilter 4 interpoliert ein in der Nähe der Nyquist-Frequenz liegendes Bildsignal, dessen Zuordnung zu einem Längsstreifen oder Querstreifen mit Schwierigkeiten verbunden ist. Dieses zweidimensionale Tiefpassfilter 4 führt eine Interpolation unter Verwendung von Bildelementen in einem zweidimensionalen Nahbereich in Bezug auf die Position eines zu interpolierenden Bildelements durch, sodass keine Bildunschärfe auftritt.
Ein Horizontal-Tiefpassfilter 5 führt eine Interpolation unter Verwendung eines Bildsignals in der Querrichtung (Horizontalrichtung) in Bezug auf die Position eines zu interpolierenden Bildelements durch. Bei diesem Ausführungsbeispiel erfolgt die von diesem Horizontal-Tiefpassfilter 5 durchgeführte Interpolation unter Verwendung eines Bildsignals in einem größeren Bereich als dem bei dem zweidimensionalen Tiefpassfilter 4 verwendeten Bildsignalbereich in der Horizontalrichtung der Position eines zu interpolierenden Bildelements.
Ein Vertikal-Tiefpassfilter 6 führt eine Interpolation unter Verwendung eines Bildsignals in der Längsrichtung (Vertikalrichtung) in Bezug auf die Position eines zu interpolierenden Bildelements durch. Bei diesem Ausführungsbeispiel erfolgt die von diesem Vertikal-Tiefpassfilter 6 durchgeführte Interpolation unter Verwendung eines Bildsignals in einem größeren Bereich als dem bei dem zweidimensionalen Tiefpassfilter 4 verwendeten Bildsignalbereich in der Vertikalrichtung der Position eines zu interpolierenden Bildelements.
Ein Addierer 7 berechnet die Differenz zwischen dem Ausgangssignal des zweidimensionalen Tiefpassfilters 4 und dem Ausgangssignal des Horizontal-Tiefpassfilters 5, während die Differenz zwischen dem Ausgangssignal des zweidimensionalen Tiefpassfilters 4 und dem Ausgangssignal des Vertikal-Tiefpassfilters 6 von einem Addierer 8 berechnet wird. Über einen Schalter 9 erfolgt eine Auswahl des Ausgangssignals des Addierers 7 oder des Addierers 8 auf der Basis des von der Vertikal/Lateral-Beurteilungsschaltung 10 erhaltenen Beurteilungsergebnisses. Über einen Multiplizierer 11 erfolgt dann eine Multiplikation des von dem Schalter 9 ausgewählten Ausgangssignals mit dem Ausgangssignal der Absolutwert-Umsetzungsschaltung 13. Über einen Addierer 12 erfolgt sodann eine Addition des Ausgangssignals des zweidimensionalen Tiefpassfilters 4 und des Ausgangssignals des Multiplizierers 11.
5 zeigt ein Operationsablaufdiagramm bezüglich einer Bildsignalinterpolation (des G-Signals) bei dem ersten Ausführungsbeispiel, während in 3 die Bildelementpositionen der Farbfilteranordnung gemäß 1 im einzelnen dargestellt sind. Nachstehend wird der bei diesem Ausführungsbeispiel erfolgende Interpolationsvorgang unter Bezugnahme auf die 3 und 5 näher beschrieben.
Zunächst erfolgt in einem Schritt S101 durch die 0-Einfügungsschaltung 3 die Einfügung des Wertes 0 bei Bildelementen mit Farbfiltern, die nicht G entsprechen, d. h. für Bildelemente mit R-Farbfiltern und B-Farbfiltern.
Der Ablauf geht sodann auf einen Schritt S102 über, bei dem über das zweidimensionale Tiefpassfilter 4 eine Bildelementinterpolation für das Ausgangssignal der 0-Einfügungsschaltung 3 erfolgt, wodurch ein zweidimensionales G-interpoliertes Signal erhalten wird. Das zweidimensionale Tiefpassfilter 4 ist zur Durchführung einer [1 2 1]/2-Interpolation unter Verwendung von Bildelementdaten in der Vertikalrichtung sowie einer [1 2 1]/2-Interpolation unter Verwendung von Bildelementdaten in der Horizontalrichtung ausgestaltet, sodass z. B. ein Interpolationswert G33' in der Bildelementposition R33 gemäß 3 in der Vertikalrichtung durch (1 × G32 + 2 × R33 + 1 × G34)/2 = (G32 + G34)/2und in der Horizontalrichtung durch (1 × G23 + 2 × R33 + 1 × G43)/2 = (G23 + G43)/2gegeben ist, sodass sich als Mittelwert ergibt: G33' = (G32 + G34 + G23 + G43)/4.
Der Ablauf geht dann auf einen Schritt S103 über, bei dem von der Vertikal/Lateral-Beurteilungsschaltung 10 beurteilt wird, ob das zu interpolierende Bildsignal eine hohe Korrelation in der Vertikalrichtung oder in der Horizontalrichtung aufweist, d. h. die Vertikal/Lateral-Beurteilungsschaltung 10 beurteilt, ob es sich bei dem Bild um ein Längsstreifenmuster oder um ein Querstreifenmuster handelt.
Nachstehend wird das von der Vertikal/Lateral-Beurteilungsschaltung durchgeführte Beurteilungsverfahren näher beschrieben. Wenn z. B. angenommen wird, dass die Position eines zu interpolierenden Bildelements durch R33 gegeben ist, so gilt: diffHV33 = diffH33 – diffV33 diffH33 = |G32 – G34| + |2R33 – R31 – R35| diffV33 = |G23 – G43| + |2R33 – R13 – R53|
Hierbei ist mit diffH eine Pegeldifferenz zwischen in Horizontalrichtung um ein zu interpolierendes Bildelement herum zentrierten Bildelementen bezeichnet, während mit diffV eine Pegeldifferenz zwischen in Vertikalrichtung um ein zu interpolierendes Bildelement herum zentrierten Bildelementen bezeichnet ist. Mit diffHV ist somit die Differenz der Pegeldifferenz zwischen den Bildelementen in der Vertikalrichtung und der Pegeldifferenz zwischen den Bildelementen in der Horizontalrichtung bezeichnet. Wenn die Differenz diffHV positiv ist, handelt es sich bei dem Bild um ein Längsstreifenmuster, während im Falle einer negativen Differenz diffHV ein Bild in Form eines Querstreifenmusters vorliegt. Der Wert von diffHV wird durch Begrenzung des berechneten Wertes mit Hilfe eines gewissen Schwellenwertes und Normierung des begrenzten Wertes auf einen Bereich von –1 bis 1 eingestellt. Die Berechnung der Differenz diffHV ist jedoch nicht auf den vorstehend beschriebenen Ausdruck beschränkt.
Wenn diffHV > 0 ist, d. h. wenn festgestellt wird, dass es sich bei dem Bild um ein Längsstreifenmuster handelt, geht der Ablauf auf einen Schritt S104 über. Wenn dagegen diffHV < 0 ist, d. h. wenn festgestellt wird, dass es sich bei dem Bild um ein Querstreifenmuster handelt, geht der Ablauf auf einen Schritt S105 über.
Im Schritt S104 wird über den Schalter 9 ein Ausgangssignal Dv des Addierers 8 ausgewählt. Das Vertikal-Tiefpassfilter 6 ist hierbei zur Durchführung einer [1 4 6 4 1]/8-Interpolation unter Verwendung von Bildelementdaten in der Vertikalrichtung ausgestaltet. Wenn z. B. die Bildelementposition R33 das Interpolationsobjekt bildet, ist ein von dem Vertikal-Tiefpassfilter 6 erhaltener Ausgangswert Gv33 gegeben durch: Gv33 = (1 × R13 + 4 × G23 + 6 × R33 + 4 × G43 + 1 × R53)/8 = (G23 + G43)/2.
Wenn somit die Bildelementposition R33 das Interpolationsobjekt darstellt, beträgt das von dem Addierer 8 abgegebene Differenzsignal Dv Dv33 = Gv33 – G33' = (G23 + G43 – G32 – G34)/4.
Im Schritt S105 erfolgt über den Schalter 9 dagegen die Auswahl eines Ausgangssignals Dh des Addierers 7. Das Horizontal-Tiefpassfilter 5 ist hierbei zur Durchführung einer [1 4 6 4 1]/8-Interpolation unter Verwendung von Bildelementdaten in der Horizontalrichtung ausgestaltet. Wenn z. B. die Bildelementposition R33 das Interpolationsobjekt bildet, ergibt sich der Ausgangswert Gh33 des Horizontal-Tiefpassfilters 5 aus: Gh33 = (1 × R31 + 4 × G32 + 6 × R33 + 4 × G34 + 1 × R35)/8 = (G32 + G34)/2
Wenn somit die Bildelementposition R33 das Interpolationsobjekt darstellt, ist das vom Addierer 7 abgegebene Differenzsignal Dh gegeben durch Dh33 = Gh33 – G33' = (G32 + G34 – G23 – G43)/4.
In einem Schritt S106 erfolgt über den Multiplizierer 11 sodann eine Multiplikation des von dem Schalter 9 ausgewählten Signals mit dem Ausgangssignal der Absolutwert-Umsetzungsschaltung 13, die ein Signal in Form des Absolutwertes der Differenz diffHV abgibt. In einem Schritt S107 werden schließlich das Ausgangssignal des zweidimensionalen Tiefpassfilters 4 und das Ausgangssignal des Multiplizierers 11 zur Bildung des endgültigen Interpolationssignals G addiert.
Durch die vorstehend beschriebene Verarbeitung wird eine geeignete Interpolation erhalten. Wenn z. B. eine Unterscheidung zwischen Längsstreifen und Querstreifen auf Grund des Einflusses eines in der Nähe der Nyquist-Frequenz liegenden Bildsignals schwierig ist, liegt ein kleiner Wert der Differenz diffHV vor, sodass der Multiplizierer 11 den Wert von Gh oder Gv herabsetzt, d. h. die von dem zweidimensionalen Tiefpassfilter 4 erhaltenen Interpolationsdaten werden mit den erhaltenen Interpolationsdaten Gh oder Gv gewichtet. Hierdurch wird der Einfluss eines mehrdeutigen (gefalteten) Signals unterdrückt und auf diese Weise eine geeignete Interpolation ermöglicht.
Wenn diffHV = 1 vorliegt, d. h. wenn festgestellt wird, dass es sich bei einem Objekt um ein Längsstreifenmuster handelt, erfolgt über den Schalter 9 die Auswahl von Dv, wobei Dv sodann mit |1| multipliziert wird. Hierdurch werden die von dem Multiplizierer 11 erhaltenen Interpolationsdaten gewichtet. Wenn hierbei z. B. die Bildelementposition R33 das Interpolationsobjekt darstellt, ist das vom Addierer 12 erhaltene Ausgangssignal (d. h. das endgültige Interpolationssignal G) gegeben durch G33 = G33' + Dv33 = (G23 + G43)/2.
Hierdurch wird eine Verschlechterung der Bildeigenschaften in der Längsrichtung vermieden.
Wenn dagegen diffHV = –1 vorliegt, d. h. wenn festgestellt wird, dass es sich bei dem Objekt um ein Querstreifenmuster handelt, erfolgt über den Schalter 9 die Auswahl von Dh, wobei Dh dann mit |–1| multipliziert und die von dem Multiplizierer 11 erhaltenen Interpolationsdaten auf diese Weise gewichtet werden. Wenn hierbei z. B. die Bildelementposition R33 das Interpolationsobjekt darstellt, ist das Ausgangssignal des Addierers 12 (d. h. das endgültige Interpolationssignal G) gegeben durch G33 = G33' + Dh33 = (G32 + G34)/2
Hierdurch wird eine Verschlechterung der Bildeigenschaften in der Querrichtung (Horizontalrichtung) des Bildes verhindert.
Zweites Ausführungsbeispiel
6 zeigt ein Blockschaltbild eines Signalverarbeitungsgerätes gemäß einem zweiten Ausführungsbeispiel. Der in 6 dargestellte Schaltungsaufbau entspricht hierbei einer Konfiguration, bei der das Horizontal-Tiefpassfilter 5 und der Addierer 7 gemäß 2 nunmehr durch ein Vertikal-Hochpassfilter 25 ersetzt sind, während das Vertikal-Tiefpassfilter 6 und der Addierer 8 gemäß 2 nunmehr durch ein Horizontal-Hochpassfilter 26 ersetzt sind. Im übrigen sind Bauteile und Elemente, bei denen die gleichen Vorgänge erfolgen, auch mit den gleichen Bezugszahlen wie in 2 bezeichnet, sodass sich ihre erneute Beschreibung erübrigt.
Das Vertikal-Hochpassfilter 25 besitzt die in 7A dargestellte Filtercharakteristik, aus der ersichtlich ist, dass das Ausgangssignal des Vertikal-Hochpassfilters 25 einem Differenzsignal entspricht, das die Differenz zwischen dem Ausgangssignal des Horizontal-Tiefpassfilters 5 und dem Ausgangssignal des zweidimensionalen Tiefpassfilters bei dem ersten Ausführungsbeispiel angibt. Wenn z. B. die in 3 dargestellte Bildelementposition R33 das Interpolationsobjekt bildet, ist das Ausgangssignal Dh des Vertikal-Hochpassfilters 25 gegeben durch Dh33 = Gh33 – G33' = (G32 + G34 – G23 – G43)/4.
Das Horizontal-Hochpassfilter 26 weist dagegen die in 7B dargestellte Filtercharakteristik auf, aus der ersichtlich ist, dass das Ausgangssignal des Horizontal-Hochpassfilters 26 einem Differenzsignal entspricht, das die Differenz zwischen dem Ausgangssignal des Vertikal-Tiefpassfilters 6 und dem Ausgangssignal des zweidimensionalen Tiefpassfilters bei dem ersten Ausführungsbeispiel bezeichnet. Wenn z. B. die Bildelementposition R33 gemäß 3 das Interpolationsobjekt darstellt, ist das Ausgangssignal Dv des Horizontal-Hochpassfilters 26 gegeben durch Dv33 = Gv33 – G33' = (G23 + G43 – G32 – G34)/4.
Bei diesem zweiten Ausführungsbeispiel sind somit die gleichen Vorteile wie im Falle des ersten Ausführungsbeispiels erzielbar.
Drittes Ausführungsbeispiel
8 zeigt ein Blockschaltbild des Aufbaus eines Signalverarbeitungsgerätes gemäß einem dritten Ausführungsbeispiel, das eine Konfiguration aufweist, bei der eine Verstärkungsschaltung 17 und ein Addierer 18 dem Signalverarbeitungsgerät des ersten Ausführungsbeispiels gemäß 2 hinzugefügt worden sind. Im übrigen sind bei dem Blockschaltbild gemäß 8 Bauteile und Elemente, bei denen die gleichen Vorgänge erfolgen, auch mit den gleichen Bezugszahlen wie in 2 bezeichnet, sodass sich ihre erneute detaillierte Beschreibung erübrigt.
Die Verstärkungsschaltung 17 verstärkt hierbei das Ausgangssignal des Multiplizierers 11, wobei das Ausgangssignal der Verstärkungsschaltung 17 von einem Addierer 18 dem von einer APC-Schaltung 14 abgegebenen Bildsignal hinzuaddiert wird. Das von dem Multiplizierer 11 abgegebene Differenzsignal stellt hierbei ein Hochfrequenzsignal dar, das in Abhängigkeit von dem vorliegenden Muster eines Bildes adaptiv ausgewählt wird. Wenn es sich z. B. bei einem Bildanteil um ein Längsstreifenmuster oder ein Querstreifenmuster handelt, wird von dem Multiplizierer ein hoher Ausgangssignalpegel erhalten, sodass eine Betonung des Hochfrequenzsignals erfolgt, während diese Betonung des Hochfrequenzsignals unterdrückt wird, wenn das Muster eines Bildes nicht identifiziert werden kann. Auf diese Weise kann für den Hochfrequenzanteil eines Interpolationssignals eine zweckmäßige adaptive Hervorhebung erfolgen.
Wie vorstehend beschrieben, wird somit das Ausgangssignal des Multiplizierers 11 als Signal zur Hervorhebung des Hochfrequenzanteils eines Bildes verwendet, d. h., bei diesem Ausführungsbeispiel dient die G-Interpolationsschaltung 2 auch als Schaltungsanordnung zur Hervorhebung bzw. Betonung des Hochfrequenzsignals eines Bildes, wodurch sich der Schaltungsaufbau vereinfacht.
Viertes Ausführungsbeispiel
9 zeigt ein Blockschaltbild des Aufbaus eines Signalverarbeitungsgerätes gemäß einem vierten Ausführungsbeispiel, das eine Konfiguration aufweist, bei der dem Signalverarbeitungsgerät des ersten Ausführungsbeispiels gemäß 2 eine Verstärkungsschaltung 17, ein Addierer 18, eine Positiv/Negativ-Bestimmungsverstärkungsschaltung 19, eine Absolutwert-Umsetzungsschaltung 20 sowie ein Addierer 21 hinzugefügt worden sind. Da bei dem Blockschaltbild gemäß 9 Bauteile und Elemente, bei denen die gleichen Vorgänge erfolgen, mit den gleichen Bezugszahlen wie in 2 bezeichnet sind, erübrigt sich deren erneute detaillierte Beschreibung.
Bei dem vierten Ausführungsbeispiel erfolgt eine unterschiedliche Auswertung des von der Vertikal/Lateral-Beurteilungsschaltung 10 abgegebenen Beurteilungssignals diffHV, wobei dieses Beurteilungssignal einerseits in der gleichen Weise wie bei dem ersten Ausführungsbeispiel verarbeitet und andererseits der Positiv/Negativ-Bestimmungsverstärkungsschaltung 19 zugeführt wird, durch die nur ein positives oder ein negatives Signal in gewünschter Weise verstärkt wird.
Wenn hierbei z. B. nur einem positiven Signal eine zweifache Verstärkung erteilt wird, geht der zwischen –1 und 1 liegende Bereich des Beurteilungssignals in der in 10 dargestellten Weise auf einen Bereich von –1 bis 2 über.
Die Absolutwert-Umsetzungsschaltung 20 setzt dann dieses Beurteilungssignal in einen Absolutwert um, woraufhin die Verstärkungsschaltung 17 das Signal verstärkt und hervorhebt, das dann über den Addierer 18 einem G-Interpolationssignal hinzuaddiert wird. Als Ergebnis wird ein G-Interpolationssignal erhalten, das in der Horizontalrichtung einen anderen Hochfrequenz-Hervorhebungsgrad als in der Vertikalrichtung aufweist.
Weitere Ausführungsbeispiele
Die Erfindung ist außerdem auch bei einer Bildsensoreinrichtung mit einer Struktur einsetzbar, bei der die Bildelemente in jeder Horizontalzeile um ein Rastermaß von einem halben Bildelement zueinander versetzt sind, wie dies in 4 veranschaulicht ist. Bei einer solchen Anordnung kann ebenfalls die bei den vorstehend beschriebenen Ausführungsbeispielen erfolgende Verarbeitung durchgeführt werden, indem die Vertikal-Korrelationsverarbeitung durch eine Schräg-Korrelationsverarbeitung ersetzt wird.
Ferner kann die Erfindung auch z. B. ausgeführt werden, indem Programmcodes einer Programmausrüstung zur Implementierung der Funktionen der vorstehend beschriebenen Ausführungsbeispiele einem Signalverarbeitungsgerät über ein Netzwerk wie das Internet zugeführt und sodann die von einem Speichermedium gespeicherten Programmcodes von einem Computer (oder einer Zentraleinheit in Form einer CPU oder MPU) des Signalverarbeitungsgerätes ausgelesen und ausgeführt werden.
In diesem Falle beinhalten die aus dem Speichermedium ausgelesenen Programmcodes die Funktionen der vorstehend beschriebenen Ausführungsbeispiele, wobei das die Programmcodes speichernde Speichermedium die Erfindung verkörpert.
Als Speichermedium oder Datenträger zur Zuführung der Programmcodes kann hierbei z. B. die Verwendung einer Diskette, einer Festplatte, einer optischen Platte, einer magnetooptischen Platte, eines CD-ROM-Datenträgers, eines CD-R-Datenträgers, einer nichtflüchtigen Speicherkarte, eines Festspeichers (ROM) sowie die Verwendung von Magnetband in Betracht gezogen werden.
Außer einer Implementierung der Funktionen der vorstehend beschriebenen Ausführungsbeispiele durch Ausführung ausgelesener Programmcodes durch einen Computer umfasst die Erfindung auch einen Fall, bei dem ein Betriebssystem oder dergleichen des Computers die tatsächliche Verarbeitung ganz oder teilweise in Abhängigkeit von Anweisungen der Programmcodes durchführt und auf diese Weise die Funktionen der vorstehend beschriebenen Ausführungsbeispiele implementiert.
Außerdem umfasst die Erfindung auch einen Fall, bei dem die aus dem Speichermedium bzw. Datenträger ausgelesenen Programmcodes in einen Speicher einer in den Computer eingeführten Funktionserweiterungskarte oder einer mit dem Computer verbundenen Funktionserweiterungseinheit eingeschrieben werden und eine Zentraleinheit (CPU) oder dergleichen der Funktionserweiterungskarte oder der Funktionserweiterungseinheit in Abhängigkeit von durch die Programmcodes erfolgten Anweisungen die tatsächliche Verarbeitung ganz oder teilweise durchführt und auf diese Weise die Funktionen der vorstehend beschriebenen Ausführungsbeispiele implementiert.
Wenn die Erfindung in Verbindung mit dem vorstehend beschriebenen Speichermedium bzw. Datenträger Verwendung findet, werden von diesem Speichermedium bzw. Datenträger den vorstehend beschriebenen Ablaufdiagrammen entsprechende Programmcodes gespeichert, d. h. in dem Speichermedium bzw. Datenträger erfolgt die Speicherung von Modulen, die für das erfindungsgemäße Signalverarbeitungsgerät von Bedeutung sind.
Bei den vorstehend beschriebenen Ausführungsbeispielen wird somit auf der Basis der Korrelationen von Richtungen (wie z. B. der Horizontalrichtung und der Vertikalrichtung) in Bezug auf die Position eines zu interpolierenden Bildelements beurteilt und festgelegt, ob auf der Basis von Bildelementdaten in zweidimensionalen Richtungen interpolierten Daten oder auf der Basis von Bildelementdaten in einer Richtung interpolierten Daten Vorrang bzw. eine höhere Bedeutung eingeräumt wird. Bei Vorliegen eines Bildes bzw. Bildanteils in Form eines Längsstreifenmusters oder eines Querstreifenmusters tritt somit keine Verschlechterung der Frequenzcharakteristik des Bildes auf, wobei jedoch auch in einem Fall, bei dem es sich bei einem Bild bzw. Bildanteil sowohl um ein Längsstreifenmuster als auch um ein Querstreifenmuster handeln kann, durch ein dann erhaltenes mehrdeutiges Signal oder dergleichen keine Beeinträchtigung erfolgt.
Die Erfindung ist im übrigen nicht auf die vorstehend beschriebenen Ausführungsbeispiele beschränkt, sondern im Rahmen des von den Patentansprüchen bestimmten Schutzumfangs der Erfindung können natürlich verschiedene Änderungen und Modifikationen in Betracht gezogen werden.

Claims

Signalverarbeitungsgerät zur Interpolation eines von einer Bildsensoreinrichtung abgegebenen Farbausgangssignals, mit einer ersten Interpoliereinrichtung (4) zur Durchführung einer Interpolation in Bezug auf eine das Interpolationsobjekt darstellende Bildelementposition auf der Basis von Bildelementdaten in einer ersten und einer zweiten Richtung, einer zweiten Interpoliereinrichtung (5) zur Durchführung einer Interpolation in Bezug auf die das Interpolationsobjekt darstellende Bildelementposition auf der Basis von Bildelementdaten in der ersten Richtung, einer dritten Interpoliereinrichtung (6) zur Durchführung einer Interpolation in Bezug auf die das Interpolationsobjekt darstellende Bildelementposition auf der Basis von Bildelementdaten in der zweiten Richtung, einer Beurteilungseinrichtung (10) zur Beurteilung von Korrelationen in der ersten und zweiten Richtung in Bezug auf ein Signal in der das Interpolationsobjekt darstellenden Bildelementposition, einer Wähleinrichtung (9) zur Auswahl von interpolierten Daten auf der Basis eines Ausgangssignals (Dh, Dv) der zweiten oder dritten Interpoliereinrichtung in Abhängigkeit von dem von der Beurteilungseinrichtung erhaltenen Beurteilungsergebnis, und einer Ausgabeeinrichtung (12) zur Ausgabe eines interpolierten Signals auf der Basis einer Addition der jeweiligen Ausgangssignale der ersten Interpoliereinrichtung und der Wähleinrichtung.
Signalverarbeitungsgerät nach Anspruch 1, bei dem die Ausgabeeinrichtung in Abhängigkeit von dem von der Beurteilungseinrichtung erhaltenen Beurteilungsergebnis ein interpoliertes Signal durch Gewichtung der interpolierten Daten auf der Basis des Ausgangssignals der ersten Interpoliereinrichtung und der interpolierten Ausgangsdaten der Wähleinrichtung ausgibt.
Signalverarbeitungsgerät nach Anspruch 2, bei dem die Ausgabeeinrichtung bei einer von der Beurteilungseinrichtung zu erwartenden Feststellung des Auftretens gleicher Korrelationen in der ersten und zweiten Richtung ein interpoliertes Signal durch Vornahme einer derartigen Gewichtung erzeugt, dass die auf dem Ausgangssignal der ersten Interpoliereinrichtung basierenden interpolierten Daten stärker gewichtet werden als die interpolierten Ausgangsdaten der Wähleinrichtung.
Signalverarbeitungsgerät nach Anspruch 1, bei dem die zweite Interpoliereinrichtung im Vergleich zu der bei der ersten Interpoliereinrichtung erfolgenden Interpolation eine in einem größeren Bereich erfolgende Interpolation auf der Basis von Bildelementdaten in der ersten Richtung durchführt.
Signalverarbeitungsgerät nach Anspruch 1, bei dem die dritte Interpoliereinrichtung im Vergleich zu der bei der ersten Interpoliereinrichtung erfolgenden Interpolation eine in einem größeren Bereich erfolgende Interpolation auf der Basis von Bildelementdaten in der zweiten Richtung durchführt.
Signalverarbeitungsgerät nach Anspruch 1, bei dem die Wähleinrichtung eine Differenz zwischen den interpolierten Ausgangsdaten der zweiten Interpoliereinrichtung und den interpolierten Ausgangsdaten der ersten Interpoliereinrichtung oder eine Differenz zwischen den interpolierten Ausgangsdaten der dritten Interpoliereinrichtung und den interpolierten Ausgangsdaten der ersten Interpoliereinrichtung auswählt.
Signalverarbeitungsgerät nach Anspruch 6, bei dem die Wähleinrichtung bei der von der Beurteilungseinrichtung getroffenen Feststellung, dass eine das Interpolationsobjekt darstellende Bildelementposition in der zweiten Richtung eine höhere Korrelation als in der ersten Richtung aufweist, die Differenz zwischen den interpolierten Ausgangsdaten der zweiten Interpoliereinrichtung und den interpolierten Ausgangsdaten der ersten Interpoliereinrichtung auswählt.
Signalverarbeitungsgerät nach Anspruch 6, bei dem die Wähleinrichtung bei der von der Beurteilungseinrichtung getroffenen Feststellung, dass eine das Interpolationsobjekt darstellende Bildelementposition in der ersten Richtung eine höhere Korrelation als in der zweiten Richtung aufweist, die Differenz zwischen den interpolierten Ausgangsdaten der dritten Interpoliereinrichtung und den interpolierten Ausgangsdaten der ersten Interpoliereinrichtung auswählt.
Signalverarbeitungsgerät nach Anspruch 1, das außerdem eine Anhebungseinrichtung zur Anhebung des interpolierten Ausgangssignals der Ausgabeeinrichtung in Abhängigkeit von dem von der Beurteilungseinrichtung erhaltenen Beurteilungsergebnis umfasst.
Signalverarbeitungsgerät nach Anspruch 9, bei dem durch die Anhebungseinrichtung eine Hervorhebung der ersten oder der zweiten Richtung erfolgt.
Signalverarbeitungsgerät nach Anspruch 1, bei dem die zweite und die dritte Interpoliereinrichtung Hochpassfilter (HPF) sind.
Signalverarbeitungsgerät nach Anspruch 1, bei dem die Bildsensoreinrichtung Farbfilter in einer Bayer-Anordnung aufweist.
Signalverarbeitungsgerät nach Anspruch 1, bei dem in der Bildsensoreinrichtung die Bildelemente um ein Rastermaß von einem halben Bildelement versetzt sind.
Signalverarbeitungsverfahren zur Interpolation eines von einer Bildsensoreinrichtung abgegebenen Farbausgangssignals, mit einem ersten Interpolationsschritt, bei dem eine Interpolation in Bezug auf eine das Interpolationsobjekt darstellende Bildelementposition auf der Basis von Bildelementdaten in einer ersten und einer zweiten Richtung durchgeführt wird, einem zweiten Interpolationsschritt, bei dem eine Interpolation in Bezug auf die das Interpolationsobjekt darstellende Bildelementposition auf der Basis von Bildelementdaten in der ersten Richtung durchgeführt wird, einem dritten Interpolationsschritt, bei dem eine Interpolation in Bezug auf die das Interpolationsobjekt darstellende Bildelementposition auf der Basis von Bildelementdaten in der zweiten Richtung durchgeführt wird, einem Wählschritt, bei dem Korrelationen in der ersten und zweiten Richtung in Bezug auf ein Signal in der das Interpolationsobjekt darstellenden Bildelementposition beurteilt und in Abhängigkeit von dem erhaltenen Beurteilungsergebnis interpolierte Daten auf der Basis des im zweiten oder dritten Interpolationsschritt erhaltenen Ausgangssignals ausgewählt werden, und einem Ausgabeschritt, bei dem ein interpoliertes Signal auf der Basis einer Addition der im ersten Interpolationsschritt und im Wählschritt jeweils erhaltenen Ausgangssignale abgegeben wird.
Verfahren nach Anspruch 14, bei dem im Ausgabeschritt auf der Basis des Beurteilungsergebnisses in Bezug auf die Korrelationen in der ersten und zweiten Richtung bei dem Signal in der das Interpolationsobjekt darstellenden Bildelementposition ein interpoliertes Signal durch Gewichtung der interpolierten Daten auf der Basis des im ersten Interpolationsschritt erhaltenen Ausgangssignals und der im Wählschritt erhaltenen interpolierten Ausgangsdaten ausgegeben wird.
Verfahren nach Anspruch 15, bei dem im Ausgabeschritt bei der zu erwartenden Feststellung des Auftretens gleicher Korrelationen in der ersten und zweiten Richtung die Erzeugung eines interpolierten Signals durch Vornahme einer derartigen Gewichtung erfolgt, dass die auf dem im ersten Interpolationsschritt erhaltenen Ausgangssignal basierenden interpolierten Daten stärker gewichtet werden, als die im Wählschritt erhaltenen interpolierten Ausgangsdaten.
Verfahren nach Anspruch 14, bei dem der zweite Interpolationsschritt die Durchführung einer im Vergleich zu der im ersten Interpolationsschritt erfolgenden Interpolation in einem größeren Bereich erfolgenden Interpolation auf der Basis von Bildelementdaten in der ersten Richtung umfasst.
Verfahren nach Anspruch 14, bei dem der dritte Interpolationsschritt die Durchführung einer im Vergleich zu der im ersten Interpolationsschritt erfolgenden Interpolation in einem größeren Bereich erfolgenden Interpolation auf der Basis von Bildelementdaten in der zweiten Richtung umfasst.
Verfahren nach Anspruch 14, das außerdem einen Anhebungsschritt umfasst, bei dem das im Ausgabeschritt erhaltene interpolierte Ausgangssignal in Abhängigkeit von dem Beurteilungsergebnis in Bezug auf die Korrelationen in der ersten und zweiten Richtung bei dem Signal in der das Interpolationsobjekt darstellenden Bildelementposition angehoben wird.
Verfahren nach Anspruch 19, bei dem der Anhebungsschritt eine Hervorhebung der ersten oder der zweiten Richtung umfasst.
Verfahren nach Anspruch 14, bei dem der zweite und dritte Interpolationsschritt jeweils die Durchführung einer Interpolation unter Verwendung von Hochpassfiltern (HPF) umfassen.
Betriebsprozessprogramm, das bei seiner Verarbeitung durch einen Prozessor den Prozessor zur Durchführung des Verfahrens zur Interpolation eines Farbausgangssignals nach zumindest einem der Ansprüche 14 bis 21 veranlasst.
Speichermedium, das ein Betriebsprozessprogramm nach Anspruch 22 speichert.