EP3301640B1 - Method and thermal camera for the contactless measurement of a temperature or for observing quickly moving ir scenes with a thermal ir imager - Google Patents

Description

Die Erfindung betrifft ein Verfahren sowie eine Wärmebildkamera zur berührungslosen Temperaturmessung oder zur Beobachtung von schnell bewegten IR-Szenen mit einem thermischen IR-Bildsensor, insbesondere für ungekühlte thermische IR-Kameras.The invention relates to a method and a thermal imaging camera for non-contact temperature measurement or observation of fast-moving IR scenes with a thermal IR image sensor, in particular for uncooled thermal IR cameras.

In vielen messenden Wärmebildkameras und IR-Beobachtungsgeräten werden heute häufig kostengünstige ungekühlte Mikrobolometerarrays eingesetzt. Mikrobolometer sind thermische IR-Bildsensoren und haben auf Grund ihres Wirkprinzips relativ lange Ansprechzeiten. Sie eignen sich daher kaum für Anwendungen mit höheren dynamischen Anforderungen. Schnelle radiometrische Temperaturmessungen sind nicht möglich oder stark fehlerbehaftet. Die Trägheit der Mikrobolometer äußert sich auch in Bewegungsunschärfe bei Kameraschwenks oder bei Objekten, die schnell durch das Bildfeld wandern.Cost-effective uncooled microbolometer arrays are frequently used today in many measuring thermal imaging cameras and IR observation devices. Microbolometers are thermal IR image sensors and have relatively long response times due to their mode of action. They are therefore hardly suitable for applications with higher dynamic requirements. Fast radiometric temperature measurements are not possible or severely error-prone. The inertia of the microbolometer also manifests itself in motion blur in camera pans or in objects that move quickly through the image field.

Das dynamische Verhalten von Mikrobolometerarrays ist in zahlreichen Publikationen thematisiert. Generell wird die thermische Zeitkonstante der Pixel τ_th - neben der Bildrate des Sensors - als eine wichtige Kenngröße und als ein wesentlicher limitierender Faktor für die "Schnelligkeit" einer IR-Kamera angesehen. Es finden sich in der Literatur jedoch keine Lösungsansätze zur dynamischen Kompensation. Die thermische Trägheit von Mikrobolometern wird lediglich als Fakt genannt. Lediglich für thermische Einzelsensoren, beispielsweise in Thermometern, ist eine Frequenzgangkorrektur bekannt.
Derzeit setzt man ausschließlich auf den Einsatz neuer, schnellerer Sensoren. Die technischen Möglichkeiten sind jedoch begrenzt (z. B. Reduzierung der "thermischen Masse") und von den Anwendern meist nicht beeinflussbar. Oftmals bleibt als Ausweg zur Vermeidung der thermischen Trägheit der Wärmebildaufnahmen nur der Umstieg auf gekühlte photonische Sensoren.
Allgemein gelten zeitkritische Messaufgaben nicht als Domäne der thermischen Sensoren, da der dynamische Messfehler nach der Zeitdauer τ_th noch etwa 37 % beträgt (wie es in Fig. 5 für ein a-Si-Mikrobolometer gezeigt ist). Präzise Messungen sind erst nach einer Zeitspanne von mehreren τ_th möglich. Ähnliches gilt auch für andere Typen thermischer IR-Bildsensoren, u.a. für thermoelektrische Sensoren ("Thermopiles"), pyroelektrische/ferroelektrische Sensoren sowie für Sensoren auf Basis bimorpher Microcantilever-Arrays.The dynamic behavior of microbolometer arrays is discussed in numerous publications. In general, the thermal time constant of the pixels τ _th - in addition to the frame rate of the sensor - is considered as an important parameter and as a significant limiting factor for the "speed" of an IR camera. However, there are no solutions for dynamic compensation in the literature. The thermal inertia of microbolometers is simply called fact. Only for thermal single sensors, for example in thermometers, a frequency response correction is known.
At present, the focus is solely on the use of new, faster sensors. However, the technical possibilities are limited (eg reduction of the "thermal mass") and can not usually be influenced by the users. Often, the only way out to avoid the thermal inertia of thermal imaging is to switch to cooled photonic sensors.
In general, time-critical measurement tasks are not regarded as the domain of the thermal sensors, since the dynamic measurement error after the period of time τ _{th is} still about 37% (as described in US _Pat Fig. 5 for an a-Si microbolometer). Precise measurements are only possible after a period of several τ _th . The same applies to other types of thermal IR image sensors, including thermoelectric sensors ("Thermopiles"), pyroelectric / ferroelectric sensors and sensors based on bimorph microcantilever arrays.

Der Erfindung liegt die Aufgabe zugrunde, eine neue Möglichkeit zur Korrektur der dynamischen Trägheit von thermischen IR-Sensorarrays zu finden, mittels der dynamische Messfehler einer radiometrischen bzw. thermischen Wärmebildkamera deutlich reduziert werden können. In einer erweiterten Aufgabenstellung soll auch eine Verringerung der Bewegungsunschärfe erreicht werden.The invention has for its object to find a new way to correct the dynamic inertia of thermal IR sensor arrays, by means of the dynamic measurement error of a radiometric or thermal thermal imaging camera can be significantly reduced. In an extended task also a reduction of motion blur should be achieved.

Erfindungsgemäß wird die Aufgabe bei einem Verfahren zur berührungslosen Temperaturmessung oder zur Beobachtung von schnell bewegten IR-Szenen mit einem thermischen IR-Bildsensor durch die folgenden Schritte gelöst:

• Aufnehmen einer IR-Szene mittels des thermischen IR-Bildsensors,
• Auslesen eines Sensorarrays des IR-Bildsensors mit einer Bildrate, die höher ist als eine der thermischen Zeitkonstante τ_th des IR-Bildsensors zugeordnete charakteristische Frequenz und Bereitstellen von Sensorsignalen in Form von vorverarbeiteten Filtereingangsdaten,
• Anwenden eines räumlich-temporalen Bildfilters, bei dem eine matrixwertige Übertragungsfunktion einstellbare Parameter enthält und in Form von Matrixelementen das Responseverhalten jedes einzelnen korrigierten Ergebnispixelwertes von ausgegebenen Ergebnisbilddaten auf einen gesamten Satz zeitlich vorangegangener Pixelwerte der Filtereingangsdaten charakterisiert, wobei eine Einstellung einer gewünschten Filtercharakteristik durch Anpassen von Parametern des Bildfilters zur Beeinflussung der Lage von Eigenwerten wenigstens einer Faltungsmatrix erfolgt, um mindestens Nullstellen oder Polstellen in der Übertragungsfunktion der Konfiguration des Bildfilters an eine konkrete Messaufgabe oder Beobachtungsaufgabe anzupassen, indem ein lineares Gleichungssystem zur Beeinflussung der Eigenwerte der wenigstens einen Faltungsmatrix mittels numerischer Verfahren mindestens näherungsweise gelöst wird.

According to the invention, the object is achieved in a method for non-contact temperature measurement or for observation of fast-moving IR scenes with a thermal IR image sensor by the following steps:

• Recording an IR scene by means of the thermal IR image sensor,
• Reading a sensor array of the IR image sensor at a frame rate which is higher than a characteristic frequency associated with the thermal time constant τ _{th of} the IR image sensor and providing sensor signals in the form of preprocessed filter input data,
• Applying a spatial-temporal image filter, wherein a matrix-valued transfer function contains adjustable parameters and characterizes in the form of matrix elements the response behavior of each corrected result pixel value of output result image data to an entire set of temporally preceding pixel values of the filter input data, wherein adjustment of a desired filter characteristic by adjusting parameters the image filter is used to influence the position of eigenvalues of at least one convolution matrix in order to adapt at least zeros or poles in the transfer function of the configuration of the image filter to a specific measurement task or observation task by at least approximately a linear equation system for influencing the eigenvalues of the at least one convolution matrix by means of numerical methods is solved.

Vorteilhaft geschieht das Auslesen des Sensorarrays des IR-Bildsensors mit einer Bildrate, die mindestens das Doppelte der charakteristischen Frequenz, die der thermischen Zeitkonstanten τ_th der Sensorelemente des Sensorarrays des IR-Bildsensors zugeordnet ist, beträgt. Dabei erfolgt das Auslesen des Sensorarrays bevorzugt mit einer Bildrate, die mindestens das Dreifache der charakteristischen Frequenz beträgt.Advantageously, the readout of the sensor array of the IR image sensor with a frame rate that is at least twice the characteristic frequency that the thermal time constant τ _{th is assigned to} the sensor elements of the sensor array of the IR image sensor is. The readout of the sensor array is preferably carried out with a frame rate which is at least three times the characteristic frequency.

Das Anpassen der Parameter des Bildfilters zur Beeinflussung der Eigenwerte der mindestens einen Faltungsmatrix erfolgt zweckmäßig durch numerisches Lösen des linearen Gleichungssystems mittels Näherungslösungen, bevorzugt auf Basis der kleinsten Fehlerquadrate.
Zusätzlich zu den Polstellen und Nullstellen können für die Konfiguration des Bildfilters auch Amplituden-Eigenwerte durch Erweiterung des linearen Gleichungssystems mit weiteren linearen Gleichungen angepasst werden.
Bei der numerischen Lösung des linearen Gleichungssystems erweist es sich als vorteilhaft, zusätzlich eine Gewichtung von bestimmten Ortsfrequenzen vorzunehmen.The adaptation of the parameters of the image filter for influencing the eigenvalues of the at least one convolution matrix is expediently carried out by numerically solving the linear equation system by means of approximate solutions, preferably based on the least squares of errors.
In addition to the poles and zeros, amplitude eigenvalues can also be adjusted for the configuration of the image filter by extending the linear equation system with other linear equations.
In the case of the numerical solution of the linear system of equations, it proves to be advantageous additionally to carry out a weighting of specific spatial frequencies.

Des Weiteren wird die Aufgabe der Erfindung bei einer Wärmebildkamera zur berührungslosen Temperaturmessung oder zur Beobachtung von schnell bewegten IR-Szenen mit einem thermischen IR-Bildsensor, dadurch gelöst, dass mindestens ein räumlich-temporales Bildfilter dem Ausgang des IR-Bildsensors nachgeordnet ist, dass das Bildfilter als mindestens eine Bildverarbeitungseinheit zur Realisierung einer matrixwertigen Übertragungsfunktion ausgebildet ist, wobei in Berechnungen jedes Ergebnispixelwertes v_xy(t) ein jeweils aktueller Sensorpixelwert u_xy(t) eingesetzt ist sowie eine Anzahl zeitlich zurückliegender Sensorpixelwerte u_xy(t-k·Δt), eine Anzahl benachbarter Sensorpixelwerte u_{(x±m·Δx)(y±n·Δy)}(t) und eine Anzahl zeitlich zurückliegender benachbarter Sensorpixelwerte u_{(x±m·Δx)(y±n·Δy)}(t-k·Δt) berücksichtigt sind.Furthermore, the object of the invention in a thermal imaging camera for non-contact temperature measurement or observation of fast-moving IR scenes with a thermal IR image sensor, achieved in that at least one spatial-temporal image filter is arranged downstream of the output of the IR image sensor, that is formed image filter as at least an image processing unit for realizing a matrixwertigen transfer function, wherein in calculations of each resultant pixel value v _xy (t) is a respective current sensor pixel value u _xy (t) is used and a number of time of past sensor pixel values u _xy (tk · at), a number adjacent sensor pixel values u _{(x ± m · Δx) (y ± n · Δy)} (t) and a number of temporally past adjacent sensor pixel values u _{(x ± m · Δx) (y ± n · Δy)} (tk · Δt).

Vorteilhaft ist das Bildfilter durch wenigstens eine Parameterberechnungseinheit (5) mindestens temporär mit Mitteln zur Einstellung von Parametern des Bildfilters durch Beeinflussung der Lage von Eigenwerten wenigstens einer Faltungsmatrix verknüpft, um mindestens Nullstellen oder Polstellen der Übertragungsfunktion an eine konkrete Messaufgabe oder Beobachtungsaufgabe anzupassen, wobei die Mittel zur Einstellung der Parameter eine Rechnereinheit zur Lösung eines linearen Gleichungssystems für die Beeinflussung der Eigenwerte der wenigstens einen Faltungsmatrix mittels numerischer Näherungsverfahren beinhalten.Advantageously, the image filter is at least temporarily linked with means for adjusting parameters of the image filter by influencing the position of eigenvalues of at least one convolution matrix by at least one parameter calculation unit (5) in order to adapt at least zeros or poles of the transfer function to a specific measurement task or observation task, wherein the means for setting the parameters, a computer unit for solving a linear equation system for influencing the eigenvalues of the at least one convolution matrix by means of numerical approximation methods.

Vorzugsweise hat die Übertragungsfunktion des räumlich-temporalen Bildfilters in einer komplexen s-Ebene im Bildbereich einer Laplace-Transformation eine oder mehrere Nullstellen zur Kompensation der Polstellen der Übertragungsfunktion des IR-Bildsensors oder weist zweckmäßig eine oder mehrere Polstellen zur Begrenzung der Rauschbandbreite auf.Preferably, the transfer function of the spatio-temporal image filter in a complex s-plane in the image area of a Laplace transform has one or more zeros to compensate for the poles of the transfer function of the IR image sensor or expediently has one or more poles for limiting the noise bandwidth.

In einer ersten bevorzugten Variante sind ein oder mehrere Filterkoeffizienten entweder matrixwertig und als Faltungsmatrix im Ortsraum ausgebildet oder skalarwertig und so bemessen, dass mittels der Übertragungsfunktion des Bildfilters die Auswirkungen der thermische Trägheit der Sensorpixel in den zugehörigen Ergebnispixelwerten der ausgegebenen Ergebnisbilddaten reduziert werden.In a first preferred variant, one or more filter coefficients are either of matrix value and convolution matrix in spatial space or scalar valued and so dimensioned that the effects of the thermal inertia of the sensor pixels in the associated result pixel values of the output result image data are reduced by means of the transfer function of the image filter.

In einer zweiten vorteilhaften Variante sind ein oder mehrere Filterkoeffizienten matrixwertig und als Faltungsmatrix im Ortsraum ausgebildet so bemessen, dass mittels der Übertragungsfunktion des Bildfilters die Auswirkungen des Übersprechens der Sensorpixel in den zugehörigen Ergebnispixelwerten der ausgegebenen Ergebnisbilddaten reduziert werden.In a second advantageous variant, one or more filter coefficients are matrix-valued and designed as a convolution matrix in the spatial space such that the effects of crosstalk of the sensor pixels in the associated result pixel values of the output result image data are reduced by means of the transfer function of the image filter.

Bei einer zweckmäßigen dritten Variante sind ein oder mehrere Filterkoeffizienten matrixwertig und als Faltungsmatrix im Ortsraum ausgebildet so bemessen, dass mittels der Übertragungsfunktion des Bildfilters die ausgegebenen Ergebnisbilddaten von Ergebnispixelwerten eine räumliche Bildglättung oder Bildschärfung aufweisen.In an expedient third variant, one or more filter coefficients are matrix-valued and designed as a convolution matrix in the spatial space such that the output image data of result pixel values have spatial image smoothing or image sharpening by means of the transfer function of the image filter.

In einer vierten zweckmäßige Variante sind ein oder mehrere Filterkoeffizienten skalarwertig und so bemessen, dass mittels der Übertragungsfunktion des Bildfilters die Rauschbandbreite der Sensorpixel in den zugehörigen Ergebnispixelwerten der ausgegebenen Ergebnisbilddaten reduziert ist.In a fourth expedient variant, one or more filter coefficients are scalar-valued and dimensioned so that the noise bandwidth of the sensor pixels in the associated result pixel values of the output result image data is reduced by means of the transfer function of the image filter.

In einer weiteren bevorzugten Variante sind ein oder mehrere Filterkoeffizienten des Bildfilters in Abhängigkeit vom Bildinhalt fortlaufend variabel anpassbar, sodass mittels der Übertragungsfunktion des Bildfilters stets eine optimierte Filterwirkung bei minimalen Artefakten in den ausgegebenen Ergebnisbilddaten eingestellt werden kann. Eine gewünschte Übertragungsfunktion des Bildfilters wird besonders vorteilhaft durch ein IIR-System approximativ realisiert.In a further preferred variant, one or more filter coefficients of the image filter are continuously variably adjustable depending on the image content, so that by means of The transfer function of the image filter can always be an optimized filter effect with minimal artifacts in the output result image data can be set. A desired transfer function of the image filter is implemented particularly advantageously by an IIR system.

Die Erfindung basiert auf der Grundüberlegung, dass die Messeffizienz einer Wärmebildkamera auf Basis eines Mikrobolometerarrays bei schnellen Änderungen der Szene an der thermischen Trägheit seiner einzelnen Sensorelemente, die als thermische Widerstandsbrücken arbeiten, leidet. Daran lässt sich auch durch Änderung thermischer Eigenschaften des Sensorarrays (z. B. durch Verringerung der thermischen Masse jedes Einzelelements) nur geringfügig etwas verbessern. Grund dafür ist die thermische Trägheit der Bolometerelemente, die durch eine thermische Zeitkonstante τ_th als charakteristische Größe des Wärmeübergangsverhaltens beschrieben werden kann. Im Rahmen dieses Modells entspricht das Übergangsverhalten, wie es in Fig. 5 für ein a-Si-Mikrobolometer gezeigt ist, der Sprungantwort eines Verzögerungsgliedes erster Ordnung, zeigt also ein exponentielles Anschmiegen an den sich nach hinreichend langer Zeit einstellenden Wert. Die thermische Zeitkonstante τ_th entspricht dabei der Zeitdauer, nach der das [1 - exp(-1)]-fache (d.h. etwa 63 %) der Sprunghöhe erreicht ist. Der thermischen Zeitkonstanten τ_th kann eine charakteristische Frequenz f_th = 1/(2π τ_th) zugeordnet werden.
Die thermische Zeitkonstante τ_th (die bei den namhaften Herstellern von Bolometerarrays typischerweise im Bereich zwischen 7 und 15 ms liegt) ist aufgrund der Sensorkonstruktion durch Hardware-Optimierungen kaum noch signifikant zu verringern. Die Erfindung löst dieses Problem durch digitale Bildverarbeitung auf Basis einer räumlich-temporalen Filterung von ausgelesenen Sensordaten. Dabei fließen in die Berechnung jedes erzeugten Ergebnispixelwertes jeweils Messwerte eines betrachteten Sensorpixels sowie eine Anzahl zeitlich vorausgegangener Werte des betrachteten Sensorpixels, eine Anzahl räumlich benachbarter Pixelwerte und eine Anzahl zeitlich vorausgegangener Werte der räumlich benachbarten Pixel ein.
Dies wird dadurch erreicht, dass das räumlich-temporale Bildfilter eine Übertragungsfunktion aufweist, bei der in einer komplexen s-Ebene als Bildbereich einer Laplace-Transformation mindestens eine Nullstelle zur Kompensation von Polstellen der Signalübertragungsfunktion des Sensors und mindestens eine Polstelle zur Begrenzung einer Rauschbandbreite aufzufinden sind.
Die Übertragungsfunktion des räumlich-temporalen Bildfilters lässt sich mathematisch als rationale Funktion darstellen. Sie ist matrixwertig, wenn ein oder mehrere Filterkoeffizienten matrixwertig sind. Die matrixwertigen Filterkoeffizienten können im Ortsraum als Faltungsmatrix wirken und so bemessen sein, dass die Übertragungsfunktion die thermische Trägheit und das Übersprechen der Sensorpixel kompensiert.
In einer anderen Adaption sind ein oder mehrere Filterkoeffizienten matrixwertig, wirken als Faltungsmatrix im Ortsraum und sind so bemessen, dass die Übertragungsfunktion des Bildfilters zu einer räumlichen Bildglättung oder Bildschärfung führt. Eine weitere Ausführung sieht vor, dass ein oder mehrere Filterkoeffizienten skalarwertig und so bemessen sind, dass mittels der Übertragungsfunktion des Filters die thermische Trägheit der Sensorpixel kompensiert und/oder die Rauschbandbreite reduziert wird. In allen Fällen lassen sich ein oder mehrere Filterkoeffizienten variabel in Abhängigkeit vom Bildinhalt fortlaufend anpassen, um eine optimale Filterwirkung mit minimalen Artefakten zu erreichen.
Zur Realisierung der Filterfunktion werden numerische Approximationen mittels rekursiver Systeme angewendet, wobei insbesondere Filter mit unendlicher Impulsantwort, sog. IIR-Filter (Infinite Impulse Response Filter) verwendet werden.The invention is based on the fundamental idea that the measurement efficiency of a thermal imaging camera based on a microbolometer array suffers from rapid thermal changes in the scene due to the thermal inertia of its individual sensor elements, which operate as thermal resistance bridges. This can only be slightly improved by changing the thermal properties of the sensor array (eg by reducing the thermal mass of each individual element). The reason for this is the thermal inertia of the bolometer elements, which can be described by a thermal time constant τ _th as the characteristic variable of the heat transfer behavior. In the context of this model, the transient behavior corresponds to that in Fig. 5 is shown for an a-Si microbolometer, the step response of a delay element of the first order, thus showing an exponential snuggling at the setting after a sufficiently long time value. The thermal time constant τ _th corresponds to the time duration after which the [1-exp (-1)] fold (ie approximately 63%) of the jump height is reached. The thermal time constant τ _th can be assigned a characteristic frequency f _th = 1 / (2πτ _th ).
The thermal time constant τ _th (which is typically in the range between 7 and 15 ms in the case of the well-known manufacturers of bolometer arrays) can barely be significantly reduced due to the sensor design by hardware optimizations. The invention solves this problem by digital image processing based on a spatial-temporal filtering of read sensor data. In each case, measured values of a considered sensor pixel as well as a number of temporally preceding values of the considered sensor pixel, a number of spatially adjacent pixel values and a number of temporally preceding values of the spatially adjacent pixels flow into the calculation of each generated result pixel value.
This is achieved in that the spatial-temporal image filter has a transfer function in which, in a complex s-plane as the image area of a Laplace transform, at least one zero for compensating pole positions of the Signal transmission function of the sensor and at least one pole to find a limitation of a noise bandwidth.
The transfer function of the spatio-temporal image filter can be represented mathematically as a rational function. It is matrix-valued if one or more filter coefficients are matrix-valued. The matrix-valued filter coefficients can act as convolution matrix in the spatial domain and be dimensioned such that the transfer function compensates for the thermal inertia and the crosstalk of the sensor pixels.
In another adaptation, one or more filter coefficients have a matrix value, act as a convolution matrix in spatial space and are dimensioned such that the transfer function of the image filter results in spatial image smoothing or image sharpening. A further embodiment provides that one or more filter coefficients are scalar-valued and dimensioned so that the thermal inertia of the sensor pixels is compensated for by means of the transfer function of the filter and / or the noise bandwidth is reduced. In all cases, one or more filter coefficients can be variably adjusted continuously depending on the image content in order to achieve an optimum filter effect with minimal artifacts.
To implement the filter function, numerical approximations are used by means of recursive systems, in particular filters with infinite impulse response, so-called IIR filters (Infinite Impulse Response Filter) are used.

Mit der Erfindung ist es somit möglich,

• den dynamischen Messfehler einer radiometrischen Wärmebildkamera mit Mitteln der digitalen Bildverarbeitung zu reduzieren, indem die thermische Zeitkonstante τ_th der Sensorelemente und das Übersprechen der Pixel mit numerischen Mitteln kompensiert bzw. in ihrer Auswirkung reduziert werden,
• durch Anwenden der gleichen Methode die Bewegungsunschärfe zu verringern,
• ein räumlich-temporales Bildfilter zur digitalen Signalverarbeitung in einer Wärmebildkamera zu beschreiben, das bei festem Systemdesign allein durch Wahl der Koeffizienten unterschiedliche Funktionen, wie Frequenzgangkorrektur (temporal differenzierend), Reduzierung der Rauschbandbreite (temporal integrierend) und Bildglättung (räumlich integrierend), realisiert.

With the invention it is thus possible

• to reduce the dynamic measurement error of a radiometric thermal imaging camera with digital image processing means by compensating or reducing the effect of the thermal time constant τ _{th of} the sensor elements and the crosstalk of the pixels by numerical means,
• by applying the same method to reduce motion blur,
• to describe a spatial-temporal image filter for digital signal processing in a thermal imaging camera, the fixed system design alone by selecting the coefficients different functions, such as frequency response correction (temporal differentiating), reducing the noise bandwidth (temporal integrating) and image smoothing (spatially integrating) realized.

Die Erfindung soll nachfolgend anhand von Ausführungsbeispielen und Abbildungen näher erläutert werden. Dabei zeigen:

Fig. 1:

eine schematische Darstellung des erfindungsgemäßen Verfahrens mit der Struktur eines räumlich-temporalen Bildfilters;

Fig. 2:

eine schematische Darstellung der Signalverarbeitung des Bilddatenstroms einer erfindungsgemäßen Wärmebildkamera mit einem räumlich-temporalen Bildfilter;

Fig. 3:

eine erste Ausführung der Erfindung in Form eines IIR-Systems als rekursive Umsetzung des räumlich-temporalen Bildfilters;

Fig. 4:

eine bevorzugte Ausführung der Erfindung für eine Wärmebildkamera mit räumlich-temporalem Bildfilter als rekursives IIR-System;

Fig. 5:

eine Darstellung des Übergangsverhaltens eines a-Si-Mikrobolometers mit Kennzeichnung der thermischen Zeitkonstante τ_th.

The invention will be explained in more detail with reference to embodiments and figures. Showing:

Fig. 1:

a schematic representation of the inventive method with the structure of a spatial-temporal image filter;

Fig. 2:

a schematic representation of the signal processing of the image data stream of a thermal imaging camera according to the invention with a spatial-temporal image filter;

3:

a first embodiment of the invention in the form of an IIR system as a recursive implementation of the spatial-temporal image filter;

4:

a preferred embodiment of the invention for a thermal imaging camera with spatiotemporal image filter as a recursive IIR system;

Fig. 5:

a representation of the transition behavior of an a-Si microbolometer with identification of the thermal time constant τ _th .

Das erfindungsgemäße Verfahren ist in Fig. 1 für eine Wärmebildkamera schematisch dargestellt. Diese umfasst einen thermischen IR-Bildsensor 1, der ein IR-Sensorarray 11, vorzugsweise in Form eines Mikrobolometerarrays, und eine Ausleseschaltung 12, üblicherweise bereits mit einer Signalvorverarbeitung ausgestattet, enthält, sowie ein räumlich-temporales Bildfilter 3.
Die vom Sensorarray 11 als Sensorbilder gelieferten Rohsignalwerte müssen in der Regel aufbereitet werden, um eine für eine erfolgreiche Filteranwendung ausreichende Signalqualität zu erreichen. Eine solche Aufbereitung wird als Vorverarbeitungsschritte wenigstens eine Ungleichmäßigkeitskorrektur (NUC, non-uniformity correction) beinhalten. Diese kann zum Beispiel als Einpunktkorrektur ausgeführt sein, wobei in Abhängigkeit von Temperatureinflüssen driftende Rohsignalwerte mit Hilfe eines Referenzbildes abgeglichen werden (Offset-Korrektur). Gängiger ist es jedoch, eine Zweipunktkorrektur auszuführen, wobei zusätzlich zur Offset-Korrektur mit einem Verstärkungsfaktorfeld (engl. gain field) eventuelle Unterschiede der Empfindlichkeiten der Sensorelemente und zugleich auch der natürliche Randlichtabfall und Transmissionsinhomogenitäten einer dem IR-Bildsensor 1 vorgelagerten Optik (hier nicht gezeichnet) ausgeglichen werden können. Solche Verstärkungsfaktorfelder können werksseitig einkalibriert sein. Die für die Offset-Korrektur benötigten Referenzbilder werden im Live-Betrieb üblicherweise in gewissen Abständen mittels eines Shutters ermittelt bzw. aktualisiert oder sie können von shutterlosen Verfahren geliefert werden.
Zusätzlich zur Ungleichmäßigkeitskorrektur können die Vorverarbeitungsschritte beispielsweise auch noch ein Defektpixelersetzungsschema beinhalten.
Die vorgenannten Korrekturen einer Signalvorverarbeitung können bereits in einer chipinternen Schaltung des IR-Bildsensors 1 enthalten sein oder auch in einer nachgeordneten separaten Bildvorverarbeitungseinheit 13 (nur in Fig. 2 gezeichnet) realisiert werden. In modernen IR-Bildsensoren 1, wie in Fig. 1 angenommen, sind diese Korrekturen zumindest überwiegend bereits in der Ausleseschaltung 12 implementiert, die dann häufig eine Bias-Steuerung zur Kompensation der ungleichmäßigen Offsets und/oder Empfindlichkeiten der einzelnen Sensorelemente des IR-Sensorarrays 11 enthält.The inventive method is in Fig. 1 shown schematically for a thermal imaging camera. This comprises a thermal IR image sensor 1, which contains an IR sensor array 11, preferably in the form of a microbolometer array, and a read-out circuit 12, usually already equipped with signal preprocessing, as well as a spatio-temporal image filter 3.
The raw signal values supplied by the sensor array 11 as sensor images must generally be processed in order to achieve a signal quality that is sufficient for successful filter application. Such a preparation will include as preprocessing steps at least one nonuniformity correction (NUC). This can be carried out, for example, as a single-point correction, wherein depending on temperature influences drifting raw signal values are adjusted by means of a reference image (offset correction). However, it is more common to carry out a two-point correction, wherein in addition to the offset correction with a gain field (gain field) possible differences in the sensitivities of the sensor elements and at the same time the natural edge light drop and Transmission inhomogeneities of the IR image sensor 1 upstream optics (not shown here) can be compensated. Such amplification factor fields can be calibrated at the factory. The reference images required for the offset correction are usually determined or updated in live operation at intervals by means of a shutter or they can be supplied by shutterless methods.
For example, in addition to the unevenness correction, the preprocessing steps may also include a defect pixel replacement scheme.
The aforementioned corrections of a signal preprocessing can already be contained in an on-chip circuit of the IR image sensor 1 or else in a downstream separate image preprocessing unit 13 (only in FIG Fig. 2 drawn). In modern IR image sensors 1, as in Fig. 1 Assuming these corrections are at least predominantly already implemented in the readout circuit 12, which then often contains a bias control to compensate for the uneven offsets and / or sensitivities of the individual sensor elements of the IR sensor array 11.

Das Ergebnis der Signalvorverarbeitung der Ausleseschaltung 12 ist ein Bilddatenstrom 2 von aufbereiteten Sensorbildern, der als Filtereingangsdaten 31 in der Form u_xy(t) bereitgestellt wird. Das räumlich-temporale Bildfilter 3 gibt dann korrigierte Ergebnisbilddaten 4 in der Form v_xy(t) aus. Für die Funktion des Bildfilters 3 ist es dabei grundsätzlich unerheblich, ob der ausgelesene Bilddatenstrom 2 von Sensor-Rohbildern direkt in einem Online-Vorgang durch die oben beschriebenen Vorverarbeitungsschritte in den Datenstrom der aufbereiteten Sensorbilder überführt oder unmittelbar als Filtereingangsdaten 31 verwendet wird. Stattdessen können die Filtereingangsdaten 31 beispielsweise auch so bereitgestellt werden, dass durch Vorverarbeitungsschritte aufbereitete Sensorbilder in einem Pufferspeicher zwischengespeichert (hier nicht gezeichnet) und zur Bereitstellung von Filtereingangsdaten 31 dann sukzessive wieder gelesen werden. Natürlich ist es auch möglich, den in Fig. 1 angenommenen Bilddatenstrom 2 aufbereiteter Sensorbilder als geordnete Sequenz von Bilddateien dauerhaft auf einem Massenspeicher (nicht gezeichnet) abzulegen. Das Bildfilter 3 kann dann komplett abgetrennt in einem Offline-Betrieb arbeiten, das Bereitstellen der Filtereingangsdaten 31 besteht dann lediglich in dem geordneten Einlesen der abgelegten Bilddateien.
Das räumlich-temporale Bildfilter 3 stellt ein dreidimensionales Filter dar, bei dem aus dem zweidimensional ausgelesenen Bilddatenstrom 2 aus dem IR-Sensorarray 11 auf die zwei räumlichen Dimensionen 32 der Filtereingangsdaten 31 zugegriffen und als dritte Dimension 33 der zeitliche Verlauf der aus dem Bilddatenstrom 2 resultierenden Filtereingangsdaten 31 betrachtet wird. Das Bildfilter 3 bewirkt somit eine Verknüpfung räumlicher und zeitlicher Komponenten des Bilddatenstroms 2, wie nachfolgend noch detailliert erläutert wird.The result of the signal pre-processing of the read-out circuit 12 is an image data stream 2 of processed sensor images, which is provided as filter input data 31 in the form u _xy (t) . The spatio-temporal image filter 3 then outputs corrected result image data 4 in the form v _xy (t) . For the function of the image filter 3, it is fundamentally irrelevant whether the read-out image data stream 2 is transferred from sensor raw images directly into the data stream of the processed sensor images directly in an online process through the preprocessing steps described above or is used directly as filter input data 31. Instead, the filter input data 31 can also be provided, for example, in such a way that sensor images processed by preprocessing steps are buffered in a buffer memory (not shown here) and then read again successively to provide filter input data 31. Of course it is also possible in the Fig. 1 assumed image stream 2 edited sensor images as an ordered sequence of image files permanently on a mass storage (not shown) store. The image filter 3 can then work completely separated in an offline mode, providing the Filter input data 31 is then only in the orderly reading the stored image files.
The spatio-temporal image filter 3 represents a three-dimensional filter in which the two-dimensionally read image data stream 2 from the IR sensor array 11 accesses the two spatial dimensions 32 of the filter input data 31 and, as a third dimension 33, the time profile resulting from the image data stream 2 Filter input data 31 is considered. The image filter 3 thus effects a combination of spatial and temporal components of the image data stream 2, as will be explained in more detail below.

Fig. 2 zeigt ein Schema der Wärmebildkamera, in der das Verfahren gemäß Fig. 1 modifiziert ist, wobei die Signalvorverarbeitung (mindestens überwiegend) in einer separaten dem IR-Bildsensor 1 nachgeschalteten Bildvorverarbeitungseinheit 13 abläuft. Die Filtereingangsdaten 31 weisen somit mindestens eine Ungleichmäßigkeitskorrektur (NUC), eine Offset-Korrektur durch Referenzbildvergleich im Live-Betrieb und eine vollständige Ungleichmäßigkeitskorrektur mit Defektpixelersetzungsschema auf.
Die so vorverarbeiteten Filtereingangsdaten 31 weisen so eine deutlich geringere Stör- und Rauschsignalquote auf als die Rohdaten aus dem Bilddatenstrom 2, wodurch sich das Bildfilter 3 auf die reine Kompensation von Auswirkungen der dynamischen Messfehler durch schnelle Änderungen in der beobachteten IR-Szene ausrichten kann. Die Verknüpfung der einlaufenden Bildsignale als Filtereingangsdaten 31 erfolgt dabei, wie oben schon zu Fig. 1 beschrieben, unter Verwendung von zwei räumlichen Dimensionen 32 (x- und y-Koordinaten) sowie der zeitlichen Dimension (Bilddatensätze im zeitlichen Verlauf der vom IR-Sensorarray 11 aufgenommenen Bilder).
Für die nachfolgend noch näher erläuterte Bildfilterung mittels im Bildfilter 3 enthaltener Koeffizientenmatizen ist in der Ausführung von Fig. 2 eine Parameterberechnungseinheit 5 vorhanden, die wenigstens einmalig zur Konfiguration des Bildfilters 3 vor Beginn einer definierten Beobachtungsaufgabe zum Einsatz kommt, indem durch Beeinflussung der Lage von Eigenwerten einer oder mehrerer Faltungsmatrizen Nullstellen oder Polstellen der Übertragungsfunktion an eine konkrete Messaufgabe angepasst werden, oder aber auch im laufenden Betrieb der Wärmebildkamera (in Fig. 2 mit thermischem IR-Bildsensor 1 stilisiert dargestellt) im Einsatz ist. Im letzteren Fall werden ein oder mehrere Filterkoeffizienten als Faltungsmatrizen des Bildfilters 3 in Abhängigkeit vom Bildinhalt fortlaufend so variabel angepasst, dass mittels der Übertragungsfunktion des Bildfilters 3 stets eine optimierte Filterwirkung bei minimalen Artefakten in den ausgegebenen Ergebnisbilddaten 4 eingestellt ist. Fig. 2 shows a schematic of the thermal imager, in which the method according to Fig. 1 is modified, wherein the signal preprocessing (at least predominantly) in a separate the IR image sensor 1 downstream image preprocessing 13 runs. The filter input data 31 thus has at least one unevenness correction (NUC), an offset correction by reference image comparison in live mode and a complete unevenness correction with defect pixel replacement scheme.
The thus preprocessed filter input data 31 thus have a significantly lower noise and noise signal quota than the raw data from the image data stream 2, whereby the image filter 3 can align itself with the pure compensation of effects of the dynamic measurement errors by rapid changes in the observed IR scene. The combination of the incoming image signals as filter input data 31 takes place, as already above Fig. 1 using two spatial dimensions 32 (x and y coordinates) and the temporal dimension (image data records in the time course of the images taken by the IR sensor array 11).
For the below described in more detail image filtering by means contained in the image filter 3 coefficient mathematic is in the execution of Fig. 2 a parameter calculation unit 5 is provided, which is used at least once for configuring the image filter 3 before the start of a defined observation task by adjusting zeros or poles of the transfer function to a specific measurement task by influencing the position of eigenvalues of one or more convolution matrices, or else during the current operation Operation of the thermal imager (in Fig. 2 shown stylized with thermal IR image sensor 1) is in use. In the latter case, one or more filter coefficients than Convolution matrices of the image filter 3 in response to the image content continuously variable adjusted so that by means of the transfer function of the image filter 3 is always an optimized filter effect with minimal artifacts in the outputted result image data 4 is set.

Das räumlich-temporale Bildfilter 3 wird erfindungsgemäß möglichst vorteilhaft als temporales Bildfilter 3 parametrisiert, so dass je nach Konfiguration eine glättende (integrierende) oder schärfende (differenzierende) Charakteristik entsteht. Um einfach räumlich-temporale Verallgemeinerungen gleich mit abzudecken, wählt man zweckmäßig von vornherein eine Vektor- und Matrixschreibweise.
Begonnen wird mit der Beschreibung in stetiger Zeit und mit Betrachtung eines einfachen linearen Systems der Art: $$\left(1\cdot \frac{d}{\mathit{dt}}+{\mathrm{\Gamma }}_1\right)\cdot u\left(t\right)=f\left(t\right)$$

[1, Einheitsmatrix] sowie noch eines weiteren, ähnlich gebauten linearen Systems $$\left(T_2\frac{d}{\mathit{dt}}+1\right)\cdot A\cdot v\left(t\right)=f\left(t\right),$$

wobei Γ₁ und T ₂ vorerst beliebige zeitunabhängige Matrizen sein können. Die Amplitudenverkopplungsmatrix A in Gl. (2) könnte auch aus der Beschreibung entfernt werden, indem A v statt v betrachtet wird, was an dieser Stelle aber nicht getan werden soll. Im Allgemeinen müssen die genannten Matrizen nicht invertierbar oder diagonalisierbar sein. Sie brauchen auch nicht als reell vorausgesetzt zu werden, obwohl dies in der Anwendung meist der Fall sein wird. Realteile von Eigenwerten von T ₂ und von reziproken Eigenwerten von Γ₁ haben die Bedeutung von Zeitkonstanten. Das durch Gl. (1) beschriebene (Teil-)System soll so aufgefasst werden, dass u auf den Eingangsvektor f reagiert. Von Gl. (1) wird also die Lösung benötigt. In dem zweiten Teilsystem dagegen soll f selbst gemäß Gl. (2) auf v reagieren. In diesem Sinne ist Gl. (2) also bereits richtigherum aufgeschrieben. Die Kaskadierung beider Systeme ergibt ein relativ allgemeines Bildfilter 3, dessen Übertragungsverhalten jetzt untersucht werden soll.The spatial-temporal image filter 3 is advantageously parametrized according to the invention as a temporal image filter 3, so that, depending on the configuration, a smoothing (integrating) or sharpening (differentiating) characteristic arises. In order to cover spatio-temporal generalizations as well, it is expedient to choose from the outset a vector and matrix notation.
It starts with the description in continuous time and considering a simple linear system of the kind: $$\left(1\cdot \frac{d}{\mathit{dt}}+{\mathrm{<figure-callout\; id="1"\; label="\Gamma "\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">\Gamma </figure-callout>}}_1\right)\cdot u\left(t\right)=f\left(t\right)$$

[1, unit matrix] and another linear system of similar construction $$\left(T_2\frac{d}{\mathit{dt}}+1\right)\cdot A\cdot v\left(t\right)=f\left(t\right).$$

where Γ ₁ and T _{2 can} initially be arbitrary time-independent matrices. The amplitude-locking matrix A in Eq. (2) could also be removed from the description by considering A v instead of v , which should not be done here. In general, said matrices need not be invertible or diagonalizable. They also need not be assumed to be real, although this will usually be the case in the application. Real parts of eigenvalues of T ₂ and of reciprocal eigenvalues of Γ ₁ have the meaning of time constants. That by Eq. (1) described system is to be understood so that u reacts to the input vector f . From Eq. (1) So the solution is needed. In the second subsystem, on the other hand, f itself should, according to Eq. (2) react to v. In this sense, Eq. (2) already written down in the right direction. The cascading of both systems results in a relatively general image filter 3 whose transmission behavior is now to be investigated.

Die allgemeine Lösung des Anfangswertproblems für Gl. (1) kann mit Hilfe des Propagators V ₁(τ) = exp(-τ·Γ₁) als $$u\left(t\right)=V_1\left(t-t_0\right)\cdot u_0+{\displaystyle {\int }_{t_0}^t\mathit{dt}\prime V_1\left(t-t\prime \right)}\cdot f\left(t\prime \right)$$

aufgeschrieben werden. Wenn dieses (Teil-)System so beschaffen ist, dass die Lösungen der homogenen Version von Gl. (1), d. h. die freien Bewegungen des Systems, zeitlich abklingen, dann gilt V ₁(τ→∞)=0.
Dazu müssen die Eigenwerte von Γ₁ alle einen positiven Realteil haben. Eigenwerte mit verschwindendem Realteil können im Sinne eines nachträglichen Grenzübergangs mit erlaubt werden. Man sollte beachten, dass zu Eigenwerten mit positivem Realteil gehörige Lösungen der homogenen Gleichung zeitlich zunächst auch (im Prinzip beliebig weit) anwachsen können, bevor sie nach (im Prinzip beliebig langer Zeit) letztlich doch asymptotisch abklingen müssen. Dieses Phänomen kann nur bei nichtdiagonalisierbaren Matrizen auftreten, d. h. bei Matrizen, deren Eigenvektoren nicht vollständig sind.
Der beliebige Anfangszeitpunkt t ₀ in Gl. (3) darf unter diesen Umständen in die ferne Vergangenheit (t ₀ → -∞) zurückverlegt werden. Das System "vergisst" dann seine Anfangsbedingung u ₀ nach hinreichend langer Zeit und es verbleibt nur der "getriebene" Anteil der Lösung, $$u\left(t\right)={\displaystyle {\int }_{-\infty }^t\mathit{dt}\prime V_1\left(t-t\prime \right)}\cdot f\left(t\prime \right).$$

The general solution of the initial value problem for Eq. (1) can with the help of the propagator V ₁ ( τ ) = exp (- τ · Γ ₁ ) as $$u\left(t\right)=V_1\left(t-{\mathrm{<figure-callout\; id="0"\; label="t"\; filenames="imgf0005.png"\; state="\{\{state\}\}">t</figure-callout>}}_0\right)\cdot {\mathrm{<figure-callout\; id="0"\; label="u"\; filenames="imgf0005.png"\; state="\{\{state\}\}">u</figure-callout>}}_0+{\displaystyle {\int }_{t_0}^t\mathit{dt}\text{'}{V}_1\left(t-t\text{'}\right)}\cdot f\left(t\text{'}\right)$$

be written down. If this (sub) system is such that the solutions of the homogeneous version of Eq. (1), ie the free movements of the system, decay in time, then V ₁ ( τ → ∞) = 0.
For this, the eigenvalues of Γ _{1 must} all have a positive real part. Eigenvalues with a vanishing real part can be allowed in the sense of a subsequent border crossing. It should be noted that solutions of the homogeneous equation belonging to eigenvalues with a positive real part can initially also grow in time (in principle arbitrarily far), before they finally have to subside asymptotically after (in principle arbitrarily long time). This phenomenon can only occur with non-diagonalizable matrices, ie with matrices whose eigenvectors are not complete.
The arbitrary initial time t ₀ in Eq. (3) under these circumstances may be moved back to the distant past ( t ₀ → -∞). The system then "forgets" its initial condition u ₀ after a sufficiently long time and leaves only the "driven" portion of the solution, $$u\left(t\right)={\displaystyle {\int }_{-\infty }^t\mathit{dt}\text{'}{V}_1\left(t-t\text{'}\right)}\cdot f\left(t\text{'}\right),$$

Diese (retardierte) Form der Lösung wird meist als Ausdruck des Kausalitätsprinzips angesehen. Wie man sieht, ist es in diesem Fall keine unabhängige Forderung; unter den genannten Bedingungen verhält sich das (Teil-)System von selbst "kausal". Die Responsefunktion (retardierte Greensche Funktion; Impulsantwort; Suszeptibilitätskern im Zeitbereich) des (Teil-)Systems ist durch χ ₁(τ)=θ(τ)V ₁(τ) gegeben [θ(τ), Heaviside-Sprungfunktion bzw. Einheitssprung], und ihre Fouriertransformierte liefert die Übertragungsfunktion (Transferfunktion; Systemfunktion; verallgemeinerte Suszeptibilität) in der komplexen Frequenzebene, $${\underset{\_}{\chi }}_1\left(\omega \right)={\displaystyle {\int }_{-\infty }^{\infty }\mathit{d\tau }{e}^{\mathit{i\omega \tau }}}{\chi }_1\left(\tau \right)={\displaystyle {\int }_0^{\infty }\mathit{d\tau }{e}^{\mathit{i\omega \tau }}}{V}_1\left(\tau \right).$$

This (retarded) form of the solution is usually regarded as an expression of the causality principle. As you can see, it is not an independent requirement in this case; Under the conditions mentioned, the (sub) system behaves "causally" by itself. The response function (delayed Green's function, impulse response, kernel of susceptibility in the time domain) of the (sub-) system is given by χ ₁ ( τ ) = θ ( τ ) V ₁ ( τ ) [ θ ( τ ), Heaviside jump function or unit jump] , and its Fourier transform provides the transfer function (transfer function, system function, generalized susceptibility) in the complex frequency plane, $${\underset{\_}{\chi }}_1\left(\omega \right)={\displaystyle {\int }_{-\infty }^{\infty }\mathit{d\tau }{e}^{\mathit{i\omega \tau }}}{\chi }_1\left(\tau \right)={\displaystyle {\int }_0^{\infty }\mathit{d\tau }{e}^{\mathit{i\omega \tau }}}{\mathrm{<figure-callout\; id="1"\; label="V"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">V</figure-callout>}}_1\left(\tau \right),$$

Es kann auch die Laplace-Variable s benutzt werden, ω=is. Mit der genannten Annahme über Γ₁ ist dieses Integral zumindest für Re s > 0 konvergent und liefert $${\underset{\_}{\chi }}_1\left(\mathit{is}\right)={\left(s1+{\mathrm{\Gamma }}_1\right)}^{-1}.$$

It is also possible to use the Laplace variable s , ω = is . With the above assumption about Γ ₁ , this integral is convergent and yields at least for Re s > 0 $${\underset{\_}{\chi }}_1\left(\mathit{is}\right)={\left(s1+{\mathrm{\Gamma }}_1\right)}^{-1},$$

In der linken komplexen s-Halbebene gilt dieser Ausdruck weiter. Auf der rechten Seite von Gl. (6) erscheint die Resolvente von -Γ₁. Sie hat Polstellen genau bei den Eigenwerten von -Γ₁. Ihre explizite analytische Bestimmung erfordert in der Regel die analytische Lösung des Eigenwertproblems für Γ_1.
Für das Teilsystem Gl. (2) lässt sich die Responsefunktion aus der Gleichung selbst unmittelbar ablesen, χ ₂(τ)=[δ'(τ)T ₂+δ(τ)1]·A. Sie ist nicht retardiert, sondern instantan, jedoch ebenfalls kausal, χ ₂(τ<0)=0. Die zugehörige Übertragungsfunktion lautet $${\underset{\_}{\chi }}_2\left(\mathit{is}\right)=\left(s{T}_2+1\right)\cdot A.$$

In the left complex s -half-plane, this expression continues to hold. On the right side of Eq. (6) the resolvent of -Γ _{1 appears} . It has poles exactly at the eigenvalues of -Γ ₁ . Its explicit analytic determination usually requires the analytic solution of the eigenvalue problem for Γ _1.
For the subsystem Eq. (2) the response function can be read directly from the equation itself, χ ₂ ( τ ) = [ δ ' ( τ ) T ₂ + δ ( τ ) 1] · A. It is not retarded, but instantaneously, but also causally, χ ₂ ( τ <0) = 0. The associated transfer function is $${\underset{\_}{\chi }}_2\left(\mathit{is}\right)=\left(s{\mathrm{<figure-callout\; id="2"\; label="T"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">T</figure-callout>}}_2+1\right)\cdot A,$$

Das kaskadierte Gesamtsystem, d. h. die lineare Response von u auf v, wird somit durch die Übertragungsfunktion χ (ω)= χ ₁(ω)· χ ₂(ω), d. h. $$\underset{\_}{\chi }\left(\mathit{is}\right)={\left(s1+{\mathrm{\Gamma }}_1\right)}^{-1}\cdot \left(s{T}_2+1\right)\cdot A$$

charakterisiert. Auf eine alternative Form stößt man, wenn man zunächst durch Einsetzen von Gl. (2) in Gl. (4) und anschließende partielle Integration die Responsefunktion des Gesamtsystems im Zeitbereich bestimmt, $$\chi \left(\tau \right)=\delta \left(\tau \right)T_2\cdot A+\theta \left(\tau \right)V_1\left(\tau \right)\cdot \left(1-{\mathrm{\Gamma }}_1\cdot T_2\right)\cdot A,$$

und daraus χ (ω) als ${\displaystyle {\int }_{-\infty }^{\infty }\mathit{d\tau }{e}^{\mathit{i\omega \tau }}}\chi \left(\tau \right)$

berechnet, $$\underset{\_}{\chi }\left(\mathit{is}\right)=T_2\cdot A+{\left(s1+{\mathrm{\Gamma }}_1\right)}^{-1}\cdot \left(1-{\mathrm{\Gamma }}_1\cdot T_2\right)\cdot A.$$

The cascaded overall system, ie the linear response from u to v, is thus transformed by the transfer function χ ( ω ) = χ ₁ ( ω ) · χ ₂ ( ω ), ie $$\underset{\_}{\chi }\left(\mathit{is}\right)={\left(s1+{\mathrm{\Gamma }}_1\right)}^{-1}\cdot \left(s{\mathrm{<figure-callout\; id="2"\; label="T"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">T</figure-callout>}}_2+1\right)\cdot A$$

characterized. An alternative form is encountered when first using Eq. (2) in Eq. (4) and subsequent partial integration determines the response function of the entire system in the time domain, $$\chi \left(\tau \right)=\delta \left(\tau \right){\mathrm{<figure-callout\; id="2"\; label="T"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">T</figure-callout>}}_2\cdot A+\theta \left(\tau \right){\mathrm{<figure-callout\; id="1"\; label="V"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">V</figure-callout>}}_1\left(\tau \right)\cdot \left(1-{\mathrm{<figure-callout\; id="1"\; label="\Gamma "\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">\Gamma </figure-callout>}}_1\cdot {\mathrm{<figure-callout\; id="2"\; label="T"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">T</figure-callout>}}_2\right)\cdot A.$$

and from this χ ( ω ) as ${\displaystyle {\int }_{-\infty }^{\infty }\mathit{d\tau }{e}^{\mathit{i\omega \tau }}}\chi \left(\tau \right)$

calculated, $$\underset{\_}{\chi }\left(\mathit{is}\right)={\mathrm{<figure-callout\; id="2"\; label="T"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">T</figure-callout>}}_2\cdot A+{\left(\mathrm{<figure-callout\; id="1"\; label="s"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">s</figure-callout>}1+{\mathrm{\Gamma }}_1\right)}^{-1}\cdot \left(1-{\mathrm{<figure-callout\; id="1"\; label="\Gamma "\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">\Gamma </figure-callout>}}_1\cdot {\mathrm{<figure-callout\; id="2"\; label="T"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">T</figure-callout>}}_2\right)\cdot A,$$

Dies lässt sich auch durch direktes Umformen von Gl. (8) nachweisen. Es sei hier noch angemerkt, dass die Wirkung des "differenzierenden" Teilsystems offensichtlich durch die Wahl T₂ = 0 (und A = 1) gänzlich "abgeschaltet" werden kann. Ein völliges Abschalten des "integrierenden" Teilsystems ist durch passende Wahl von Γ₁ zwar nicht unmittelbar möglich, jedoch braucht hierzu in einer Realisierung des Bildfilters 3 lediglich auch das "Zwischensignal" f(t) abgegriffen werden.
Für eine zeitdiskrete Beschreibung kann man an mit Rückwärts-Differenzen angenäherte Formen von Gl. (1) und Gl. (2) anknüpfen, $$\frac{u\left(t\right)-u\left(t-\mathrm{\Delta }t\right)}{\mathrm{\Delta }t}+{\mathrm{\Gamma }}_1\cdot u\left(t\right)=f\left(t\right),$$

$$T_2\cdot A\cdot \frac{v\left(t\right)-v\left(t-\mathrm{\Delta }t\right)}{\mathrm{\Delta }t}+A\cdot v\left(t\right)=f\left(t\right)$$

[Δt > 0, Zeitschritt]. Die beiden dimensionslosen Matrizen $$\begin{array}{cc}{\varsigma }_1={\left(1+\mathrm{\Delta }t{\mathrm{\Gamma }}_1\right)}^{-1},& {\varsigma }_2=1+T_2/\end{array}\mathrm{\Delta }t$$

eignen sich im diskreten Fall besser als Parameter als Γ₁ und T₂ selbst. Wegen Δt > 0 und der vorher getroffenen Annahme über Γ₁ ist 1+Δt·Γ₁ invertierbar.
Bezeichnet man die Zeitpunkte auf dem Raster mit t_n =t ₀+nΔ (t ₀ beliebig) und führt die Bezeichnung u ⁽ⁿ⁾=u(t_n ) etc. ein, geht Gl. (11) in $$u^{\left(n\right)}-{\varsigma }_1\cdot u^{\left(n-1\right)}=\mathrm{\Delta }t{\varsigma }_1\cdot f^{\left(n\right)}$$

und Gl. (12) in $${\varsigma }_2\cdot A\cdot v^{\left(n\right)}+\left(1-{\varsigma }_2\right)\cdot A\cdot v^{\left(n-1\right)}=f^{\left(n\right)}$$

über. Mit dem diskreten Propagator $W_1^{\left(N\right)}={\varsigma }_1^N$

lässt sich völlig analog zu Gl. (4) die retardierte Lösung von Gl. (14) angeben: $$u^{\left(n\right)}=\mathrm{\Delta }t{\displaystyle \sum _{n\prime =-\infty }^n{W}_1^{n-n\prime }}\cdot {\varsigma }_1\cdot f^{\left(n\prime \right)}=\mathrm{\Delta }t{\displaystyle \sum _{n\prime =-\infty }^{\infty }{W}_1^N\cdot }{\varsigma }_1\cdot f^{\left(n-N\right)}=\mathrm{\Delta }t{\displaystyle \sum _{N=0}^{\infty }{\varsigma }_1^{N+1}\cdot f^{\left(n-N\right)}}\cdot$$

This can also be achieved by directly transforming Eq. (8). It should be noted here that the effect of the "differentiating" subsystem can obviously be completely "switched off" by the choice T ₂ = 0 (and A = 1). Although a complete shutdown of the "integrating" subsystem is not immediately possible by a suitable choice of Γ ₁ , in a realization of the image filter 3, only the "intermediate signal" f ( t ) needs to be tapped.
For a discrete-time description, one can approximate to backward-difference approximated forms of Eq. (1) and Eq. (2) tie in, $$\frac{u\left(t\right)-u\left(t-\mathrm{\Delta }t\right)}{\mathrm{\Delta }t}+{\mathrm{<figure-callout\; id="1"\; label="\Gamma "\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">\Gamma </figure-callout>}}_1\cdot u\left(t\right)=f\left(t\right).$$

$${\mathrm{<figure-callout\; id="2"\; label="T"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">T</figure-callout>}}_2\cdot A\cdot \frac{v\left(t\right)-v\left(t-\mathrm{\Delta }t\right)}{\mathrm{\Delta }t}+A\cdot v\left(t\right)=f\left(t\right)$$

[Δ t > 0, time step]. The two dimensionless matrices $$\begin{array}{cc}{\varsigma }_1={\left(1+\mathrm{\Delta }t{\mathrm{\Gamma }}_1\right)}^{-1}.& {\mathrm{<figure-callout\; id="2"\; label="\varsigma "\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">\varsigma </figure-callout>}}_2=1+{\mathrm{<figure-callout\; id="2"\; label="T"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">T</figure-callout>}}_2/\end{array}\mathrm{\Delta }t$$

In the discrete case they are better suited as parameters than Γ ₁ and T ₂ themselves. Because of Δ t > 0 and the assumption made above Γ ₁ , 1 + Δ t · Γ _{1 can be} inverted.
If the times on the grid are denoted by t _n = t ₀ + n Δ ( t ₀ arbitrary) and the designation u ^{( n )} = u ( t _n ) etc. is entered, Eq. (11) in $$u^{\left(n\right)}-{\mathrm{<figure-callout\; id="1"\; label="\varsigma "\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">\varsigma </figure-callout>}}_1\cdot u^{\left(n-1\right)}=\mathrm{<figure-callout\; id="1"\; label="\Delta \; t\; \varsigma "\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">\Delta \; </figure-callout>}t{\varsigma }_{}{}_1\cdot f^{\left(n\right)}$$

and Eq. (12) in $${\mathrm{<figure-callout\; id="2"\; label="\varsigma "\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">\varsigma </figure-callout>}}_2\cdot A\cdot v^{\left(n\right)}+\left(1-{\mathrm{<figure-callout\; id="2"\; label="\varsigma "\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">\varsigma </figure-callout>}}_2\right)\cdot A\cdot v^{\left(n-1\right)}=f^{\left(n\right)}$$

above. With the discrete propagator $W_1^{\left(N\right)}={\varsigma }_1^N$

can be completely analogous to Eq. (4) the retarded solution of Eq. (14) indicate: $$u^{\left(n\right)}=\mathrm{\Delta }t{\displaystyle \underset{n\text{'}=-\infty }{\overset{n}{\Sigma }}{W}_1^{n-n\text{'}}}\cdot {\mathrm{<figure-callout\; id="1"\; label="\varsigma "\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">\varsigma </figure-callout>}}_1\cdot f^{\left(n\text{'}\right)}=\mathrm{\Delta }t{\displaystyle \underset{n\text{'}=-\infty }{\overset{\infty }{\Sigma }}{W}_1^N\cdot }{\mathrm{<figure-callout\; id="1"\; label="\varsigma "\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">\varsigma </figure-callout>}}_1\cdot f^{\left(n-N\right)}=\mathrm{\Delta }t{\displaystyle \underset{N=0}{\overset{\infty }{\Sigma }}{\varsigma }_1^{N+1}\cdot f^{\left(n-N\right)}}\cdot$$

Wie im kontinuierlichen Fall ist das (Teil-)System kausal, wenn unsere Annahme über Γ₁ erfüllt ist. Analog zum Integral in Gl. (4) ist die Reihe in Gl. (16) dann (für vernünftige Eingangssignale f) konvergent.
Die diskrete Responsefunktion des "integrierenden" Teilsystems ist folglich $${\mathrm{Y}}_1^{\left(N\right)}=\mathrm{\Delta }t{\theta }_{+}\left(N\right){\varsigma }_1^{N+1},$$

wobei θ ₊(x)=lim _ε→o+ θ(x+ε) gesetzt wurde (es soll also an der Sprungstelle x=0 der rechtsseitige Grenzwert Eins der Sprungfunktion genommen werden). Für das "differenzierende" Teilsystem liest man durch Vergleich mit $f^{\left(n\right)}={\displaystyle {\sum }_{N=-\infty }^{\infty }{\mathrm{Y}}_2^{\left(N\right)}\cdot v^{\left(n-N\right)}}$

aus Gl. (15) direkt die diskrete Responsefunktion ab: $${\mathrm{Y}}_2^{\left(N\right)}=\left[{\delta }_{N\mathrm{,0}}{\varsigma }_2+{\delta }_{N\mathrm{,1}}\left(1-{\varsigma }_2\right)\right]\cdot A.$$

As in the continuous case, the (sub-) system is causal if our assumption about Γ _{1 is} satisfied. Analogous to the integral in Eq. (4) the series in Eq. (16) then (for reasonable input signals f ) convergent.
The discrete response function of the "integrating" subsystem is therefore $${\mathrm{Y}}_1^{\left(N\right)}=\mathrm{\Delta }t{\theta }_{+}\left(N\right){\varsigma }_1^{N+1}.$$

where θ ₊ ( x ) = lim _{ε → o +} θ ( x + ε ) has been set (it is therefore to be taken at the discontinuity x = 0, the right-side limit one of the jump function). For the "differentiating" subsystem one reads by comparison with $f^{\left(n\right)}={\displaystyle {\Sigma }_{N=-\infty }^{\infty }{\mathrm{Y}}_2^{\left(N\right)}\cdot v^{\left(n-N\right)}}$

from Eq. (15) directly the discrete response function: $${\mathrm{Y}}_2^{\left(N\right)}=\left[{\delta }_{N\mathrm{,\; 0}}{\mathrm{<figure-callout\; id="2"\; label="\varsigma "\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">\varsigma </figure-callout>}}_2+{\delta }_{N\mathrm{,1}}\left(1-{\mathrm{<figure-callout\; id="2"\; label="\varsigma "\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">\varsigma </figure-callout>}}_2\right)\right]\cdot A,$$

Die diskrete Responsefunktion Y^(N) des Gesamtsystems lässt sich aus Gl. (17) und Gl. (18) zu $${\mathrm{Y}}^{\left(N\right)}={\displaystyle \sum _{N\prime =-\infty }^{\infty }{\mathrm{Y}}_1^{\left(N-N\prime \right)}}\cdot {\mathrm{Y}}_2^{\left(N\prime \right)}=\mathrm{\Delta }t\left[{\theta }_{+}\left(N\right){\varsigma }_1^{N+1}\cdot {\varsigma }_2+{\theta }_{+}\left(N-1\right){\varsigma }_1^N\cdot \left(1-{\varsigma }_2\right)\right]\cdot A$$

zusammensetzen. Ihr lässt sich schließlich auch noch eine Übertragungsfunktion $\mathrm{\Phi }\left(z\right)={\displaystyle {\sum }_{N=-\infty }^{\infty }{\mathrm{Y}}^{\left(N\right)}{z}^N}$

zuordnen, die die z-transformierten Zustände $U\left(z\right)={\displaystyle {\sum }_{n=-\infty }^{\infty }{u}^{\left(n\right)}{z}^{-n}}$

und $V\left(z\right)={\displaystyle {\sum }_{n=-\infty }^{\infty }{v}^{\left(n\right)}{z}^{-n}}$

gemäß U(z)=Φ(z)·V(z) verbindet und die wie im zeitkontinuierlichen Fall in das (Matrix-)Produkt der Übertragungsfunktionen der beiden Teilsysteme zerfällt. Für das "integrierende" Teilsystem findet man: $${\mathrm{\Phi }}_1\left(z\right)={\displaystyle \sum _{N=-\infty }^{\infty }{Y}_1^{\left(N\right)}{z}^N=\mathrm{\Delta }t}{\displaystyle \sum _{N=0}^{\infty }{z}^N{\varsigma }_1^{N+1}=\mathrm{\Delta }t}{\left(1-z{\varsigma }_1\right)}^{-1}\cdot {\varsigma }_1,$$

wobei die Konvergenz der Reihe (wegen unserer Bedingung an Γ1) innerhalb des Einheitskreises der komplexen z-Ebene gegeben ist (sodass für |z|<1 auch keine Pole auftreten). Für das "differenzierende" Teilsystem gilt $${\mathrm{\Phi }}_2\left(z\right)={\displaystyle \sum _{N=-\infty }^{\infty }{\mathrm{Y}}_2^{\left(N\right)}{z}^N=\left[{\varsigma }_2+z\left(1-{\varsigma }_2\right)\right]\cdot A=\left[z1+\left(1-z\right){\varsigma }_2)\right]}\cdot A,$$

und für das Gesamtsystem folglich $$\mathrm{\Phi }\left(\mathrm{z}\right)={\mathrm{\Phi }}_1\left(\mathrm{z}\right)\cdot {\mathrm{\Phi }}_2\left(\mathrm{z}\right)=\mathrm{\Delta }t{\left(1-\mathrm{z}{\varsigma }_1\right)}^{-1}\cdot {\varsigma }_1\cdot \left[\mathrm{z}1+\left(1-\mathrm{z}\right){\varsigma }_2)\right]\cdot A,$$

[vgl. auch Gl. (8)]. Ein "Abschalten" des (diskret) differenzierenden Teilsystems entspricht der Wahl ${\varsigma }_2=1$

(und A=1), ein "Abschalten" des (diskret) integrierenden Teilsystems kann wiederum indirekt anhand des "Zwischenabgriffs" f ⁽ⁿ⁾ bewirkt werden.
Zur Anwendung auf die Bildfilterung wird der Zustandsvektor u (und analog f, v etc.) als Vektor in einem (N ₁ x N ₂)-dimensionalen Raum angenommen und seine (zweidimensional indizierten) Komponenten u _{n 1 n 2} relativ zu einer festen Orthonormalbasis als die Helligkeitswerte von Bildpixeln aufgefasst, $$u={\displaystyle \sum _{n_1=0}^{N_1-1}{\displaystyle \sum _{m_2=0}^{N_2-1}{u}_{n_1{n}_2}{e}_{n_1{n}_2}}}$$

[orthonormale Basisvektoren e _{n 1 n 2} ]. Die auf Zustände wirkenden Matrizen, z. B. in Gl. (8) oder (22), haben (N ₁ N ₂) x (N ₁ N ₂) Elemente. Eine analytische Behandlung der zugehörigen Eigenwertprobleme ist somit im Allgemeinen aussichtslos, sodass die Filterwirkung kaum noch detaillierter analysiert werden kann.The discrete response function Y ^{( N ) of} the total system can be derived from Eq. (17) and Eq. (18) too $${\mathrm{Y}}^{\left(N\right)}={\displaystyle \underset{N\text{'}=-\infty }{\overset{\infty }{\Sigma }}{\mathrm{Y}}_1^{\left(N-N\text{'}\right)}}\cdot {\mathrm{Y}}_2^{\left(N\text{'}\right)}=\mathrm{\Delta }t\left[{\theta }_{+}\left(N\right){\varsigma }_1^{N+1}\cdot {\mathrm{<figure-callout\; id="2"\; label="\varsigma "\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">\varsigma </figure-callout>}}_2+{\theta }_{+}\left(N-1\right){\varsigma }_1^N\cdot \left(1-{\mathrm{<figure-callout\; id="2"\; label="\varsigma "\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">\varsigma </figure-callout>}}_2\right)\right]\cdot A$$

put together. Finally, it can also be a transfer function $\mathrm{\Phi }\left(z\right)={\displaystyle {\Sigma }_{N=-\infty }^{\infty }{\mathrm{Y}}^{\left(N\right)}{z}^N}$

associate the z- transformed states $U\left(z\right)={\displaystyle {\Sigma }_{n=-\infty }^{\infty }{u}^{\left(n\right)}{z}^{-n}}$

and $V\left(z\right)={\displaystyle {\Sigma }_{n=-\infty }^{\infty }{v}^{\left(n\right)}{z}^{-n}}$

according to U ( z ) = Φ ( z ) · V ( z ) connects and which decays as in the continuous-time case in the (matrix) product of the transfer functions of the two subsystems. For the "integrating" subsystem you will find: $${\mathrm{\Phi }}_1\left(z\right)={\displaystyle \underset{N=-\infty }{\overset{\infty }{\Sigma }}{Y}_1^{\left(N\right)}{z}^N=\mathrm{\Delta }t}{\displaystyle \underset{N=0}{\overset{\infty }{\Sigma }}{z}^N{\varsigma }_1^{N+1}=\mathrm{\Delta }t}{\left(1-z{\varsigma }_1\right)}^{-1}<figure-callout\; id="1"\; label="\cdot \; \varsigma "\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">\cdot \; </figure-callout>{\varsigma }_{}{}_1.$$

where the convergence of the series (because of our condition on Γ1) is given within the unit circle of the complex z- plane (so that no poles occur for | z | <1). For the "differentiating" subsystem applies $${\mathrm{\Phi }}_2\left(z\right)={\displaystyle \underset{N=-\infty }{\overset{\infty }{\Sigma }}{\mathrm{Y}}_2^{\left(N\right)}{z}^N=\left[{\mathrm{<figure-callout\; id="2"\; label="\varsigma "\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">\varsigma </figure-callout>}}_2+z\left(1-{\mathrm{<figure-callout\; id="2"\; label="\varsigma "\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">\varsigma </figure-callout>}}_2\right)\right]\cdot A=\left[\mathrm{<figure-callout\; id="1"\; label="z"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">z</figure-callout>}1+\left(1-z\right){\varsigma }_2)\right]}\cdot A.$$

and for the overall system, therefore $$\mathrm{\Phi }\left(\mathrm{z}\right)={\mathrm{\Phi }}_1\left(\mathrm{z}\right)\cdot {\mathrm{\Phi }}_2\left(\mathrm{z}\right)=\mathrm{\Delta }t{\left(1-\mathrm{z}{\varsigma }_1\right)}^{-1}<figure-callout\; id="1"\; label="\cdot \; \varsigma "\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">\cdot \; </figure-callout>{\varsigma }_{}{}_1\cdot \left[\mathrm{<figure-callout\; id="1"\; label="z"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">z</figure-callout>}1+\left(1-\mathrm{z}\right){\varsigma }_2)\right]\cdot A.$$

[see. also Eq. (8th)]. A "shutdown" of the (discrete) differentiating subsystem corresponds to the choice ${\varsigma }_{}$${}_2=1$

(and A = 1), a "shutdown" of the (discrete) integrating subsystem can in turn be effected indirectly on the basis of the "intermediate tap" f ^{( n )} .
For application to image filtering, the state vector u (and analog f, v, etc.) is assumed to be a vector in a ( N ₁ x N ₂ ) -dimensional space and its (two-dimensionally indexed) components u _{n 1 n 2} understood as the brightness values of image pixels relative to a fixed orthonormal basis, $$u={\displaystyle \underset{n_{}}{\overset{{}_1=0}{<figure-callout\; id="1"\; label="\Sigma \; n"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">\Sigma \; </figure-callout>}}{\displaystyle \underset{m_{}}{\overset{{}_2=0}{<figure-callout\; id="2"\; label="\Sigma \; m"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">\Sigma \; </figure-callout>}}{u}_{n_1{n}_2}{e}_{n_1{n}_2}}}$$

[orthonormal basis vectors e _{n 1 n 2} ]. The matrices acting on states, e.g. In Eq. (8) or (22) have ( N ₁ N ₂ ) x ( N ₁ N ₂ ) elements. An analytical treatment of the associated eigenvalue problems is thus generally hopeless, so that the filter effect can hardly be analyzed in any more detail.

Es gibt jedoch Fälle, in denen dies doch möglich ist, zum einen natürlich den skalaren Fall, bei dem A, Γ₁ und T ₂ allesamt Vielfache der Einheitsmatrix 1 sind. Die Pixel sind dann völlig entkoppelt, d. h. der zeitliche Verlauf der Signalwerte jedes Pixels wird für sich genommen rein temporal gefiltert (auf dieselbe Weise für alle Pixel). Die Zustände und Matrizen brauchen dann auch auf nur ein einzelnes Pixel bezogen werden, d. h. sie werden effektiv zu Skalaren. In diesem Fall weist die (skalare) Übertragungsfunktion genau eine Nullstelle und genau eine Polstelle auf, deren Lage unmittelbar aus den (skalaren) Filterparametern hervorgeht [siehe z. B. Gl.(8)].However, there are cases in which this is possible, on the one hand, of course, the scalar case, in which A, Γ ₁ and T _{2 are} all multiples of the unit matrix 1. The pixels are then completely decoupled, ie the temporal course of the signal values of each pixel is filtered purely temporally on its own (in the same way for all pixels). The states and matrices then need to be related to only a single pixel, ie they effectively become scalars. In this case, the (scalar) transfer function has exactly one zero and exactly one pole, the position of which results directly from the (scalar) filter parameters. Eq. (8)].

Ein allgemeinerer Fall, bei dem die Lösung der Eigenwertprobleme möglich ist, ist der von Matrizen, die auf die Vektorkomponenten als Faltung wirken. Wegen der zwei Indizes an den Basisvektoren sind die Komponenten M _{n 1 n 2 n' 1 n' 2} einer Matrix M nun durch vier Indizes (bzw. zwei Indexpaare) gekennzeichnet. Bei einer Matrix, die als Faltung wirkt, hängen die Komponenten nur von n ₁-n' ₁ und n ₂-n' ₂ ab, können also auch wieder mit nur zwei Indizes geschrieben werden (2D-Faltungsmatrix). Es ist hierfür günstig, sich die Bilder u _{n 1 n 2} etc. periodisch fortgesetzt zu denken und die Pixelindizes n ₁ und n ₂ ggf. nur mod N ₁ bzw. mod N ₂ zu lesen (zyklische Faltung). Wenn eine Faltungsmatrix - gemessen am Bild - klein ist, sind die störenden Randeffekte einer solchen zyklischen Faltung auf eine kleine Zone am Bildrand begrenzt. Bei einer gewöhnlichen Faltung (mit z. B. dem Anfügen von Nullen am Bildrand) gibt es freilich ebenfalls solche störenden Randeffekte.
Die Vektoren $$b_{k_1{k}_2}={\displaystyle \sum _{n_1,n_2}{\left(b_{k_1{k}_2}\right)}_{n_1,n_2}{e}_{n_1,n_2}}$$

mit den Komponenten $${\left(b_{k_1{k}_2}\right)}_{n_1,n_2}=\frac{1}{\sqrt{N_1{N}_2}}{e}^{i2\pi \left(k_1{n}_1/N_1+k_2{n}_2/N_2\right)}$$

bilden eine Orthonormalbasis wie die ursprünglichen e _{n 1 ,n 2} und sind gemeinsame Eigenvektoren aller zyklischen Faltungsmatrizen. Der Basiswechsel von den e_mn zu den b _{k 1 k 2} entspricht der diskreten, endlichen Fouriertransformation der zugeordneten Vektorkomponenten.
Die Eigenwertgleichung F·b _{k 1 k 2} = λ _{k 1 k 2} b _{k 1 k 2} für eine als (zyklische) Faltung wirkende Matrix F lautet in Komponenten ausgeschrieben $${\displaystyle \sum _{n_1^{\prime }{n}_2^{\prime }}{F}_{n_1-n_1^{\prime },n_2-n_2^{\prime }}{\left(b_{k_1{k}_2}\right)}_{n_1^{\prime }{n}_2^{\prime }}={\displaystyle \sum _{n_1^{\prime },n_2^{\prime }}{F}_{n_2^{\prime }{n}_2^{\prime }}{\left(b_{k_1{k}_2}\right)}_{n_1-n_1^{\prime },n_2-n_2^{\prime }}={\lambda }_{k_1{k}_2}{\left(b_{k_1{k}_2}\right)}_{n_1{n}_2}}}$$

Da wegen Gl. (25) die Beziehung (b _{k 1 k 2} ) _{n 1-n' 1,n 2-n' 2} =exp[-i2π(k ₁ n ₁/N ₁+k ₂ n ₂/N ₂)](b _{k 1 k 2} ) _{n 1 n 2} gilt, können die zugehörigen Eigenwerte λ _{k 1 k 2} abgelesen werden: $${\lambda }_{k_1{k}_2}={\displaystyle \sum _{n_1{n}_2}{F}_{n_1{n}_2}{e}^{-i2\pi \left(k_1{n}_1/N_1+k_2{n}_2/N_2\right)}}.$$

Diese N ₁ x N ₂ Eigenwerte brauchen natürlich im Allgemeinen nicht alle verschieden zu sein. Funktionen h(F) einer Matrix F, die als zyklische Faltung wirkt, können damit gemäß $h\left(F\right)={\displaystyle {\sum }_{k_1{k}_2}h\left({\lambda }_{k_1{k}_2}\right)b_{k_1{k}_2}{b}_{k_1{k}_2}^{\mathrm{T}}}$

gebildet werden. Wegen des gemeinsamen Eigenvektorsystems sind natürlich auch alle Matrizen, die als zyklische Faltung wirken, miteinander vertauschbar. Für den Fall, dass Γ₁ und T ₂ und auch A derartige Matrizen sind, kann deshalb Gl. (8) als $$\underset{\_}{\chi }\left(\mathit{is}\right)={\displaystyle \sum _{k_1{k}_2}\left[a_{k_1{k}_2}\frac{s{\left(t_2\right)}_{k_1{k}_2}+1}{s+{\left({\gamma }_1\right)}_{k_1{k}_2}}\right]b_{k_1{k}_2}{b}_{k_1{k}_2}^{\mathrm{T}}}$$

ausgewertet werden, wobei (γ ₁) _{k 1 k 2} , (t ₂) _{k 1 k 2} und a _{k 1 k 2} die zu Γ₁, T ₂ bzw. A gehörigen Eigenwerte sind, die wie durch Gl. (27) beschrieben aus den Einträgen der jeweiligen Faltungsmatrix direkt berechnet werden können. Die eckige Klammer in Gl. (28) kann als "skalare" Übertragungsfunktion betrachtet werden, die (im ω- bzw. s-Bereich) die Übertragung räumlicher Fourierkomponenten zum jeweils gleichen Ortsfrequenzpaar angibt. Indem man Komponenten hinsichtlich der Basis e _{n 1 n 2} nimmt, erhält man $${\underset{\_}{\chi }}_{n_1-n_1^{\prime },n_2-n_2^{\prime }}\left(\mathit{is}\right)={\displaystyle \sum _{k_1{k}_2}\left[\frac{a_{k_1{k}_2}}{N_1{N}_2}\frac{s{\left(t_2\right)}_{k_1{k}_2}+1}{s+{\left({\gamma }_1\right)}_{k_1{k}_2}}\right]e^{i2\pi \left[k_1\left(n_1-n_1^{\prime }\right)/N_1+k_2\left(n_2-n_2^{\prime }\right)/N_2\right]}}.$$

Diese Übertragungsfunktion beschreibt die Response des Pixelwertes u _{n 1 n 2} auf den ganzen Satz aller Pixelwerte v _{n' 1 n' 2} , ohne direkten Bezug auf die räumlichen Fourierkomponenten nehmen zu müssen. Für den Fall, dass

und

Matrizen und auch A Matrizen sind, die als (zyklische) Faltung wirken, ergibt sich für den zeitdiskreten Fall aus Gl. (22) völlig analog zu Gl. (28) $$\mathrm{\Phi }\left(z\right)={\displaystyle \sum _{k_1{k}_2}\left\{a_{k_1{k}_2}\frac{\mathrm{\Delta }t{\left({\varsigma }_1\right)}_{k_1{k}_2}\left[z+\left(1-z\right){\left({\varsigma }_2\right)}_{k_1{k}_2}\right]}{\left[1-z{\left({\varsigma }_1\right)}_{k_1{k}_2}\right]}\right\}}{b}_{k_1{k}_2}{b}_{k_1{k}_2}^{\mathrm{T}}.$$

A more general case where the solution of eigenvalue problems is possible is that of matrices that act on the vector components as convolution. Because of the two indices on the basis vectors, the components are M _{n 1 n 2 n ' 1 n ' 2} a matrix M is now characterized by four indices (or two index pairs). For a matrix that acts as a convolution, the components only depend on n ₁ - n ' ₁ and n ₂ - n' ₂ , so they can be written again with only two indices (2D convolution matrix). It is favorable, the pictures u _{n 1 n 2} etc. periodically continue to think and the pixel indices n ₁ and n _2, if necessary, only mod N ₁ or mod N ₂ to read (cyclic convolution). If a convolution matrix is small compared to the image, the disturbing edge effects of such a cyclic convolution are limited to a small zone at the edge of the image. In a normal convolution (with, for example, the addition of zeroes at the edge of the image), there are of course also such disturbing edge effects.
The vectors $$b_{k_1{\mathrm{<figure-callout\; id="2"\; label="k"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">k</figure-callout>}}_2}={\displaystyle \underset{n_{}}{<figure-callout\; id="1"\; label="\Sigma \; n"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">\Sigma \; </figure-callout>}{\left(b_{k_1{k}_2}\right)}_{{\mathrm{<figure-callout\; id="1"\; label="n"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">n</figure-callout>}}_1.n_2}{\mathrm{<figure-callout\; id="1"\; label="e\; n"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">e\; </figure-callout>}}_{n_{}}}$$

with the components $${\left(b_{k_1{k}_2}\right)}_{{\mathrm{<figure-callout\; id="1"\; label="n"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">n</figure-callout>}}_1.{\mathrm{<figure-callout\; id="2"\; label="n"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">n</figure-callout>}}_2}=\frac{1}{\sqrt{N_1{N}_2}}{\mathrm{<figure-callout\; id="2"\; label="e\; i"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">e\; </figure-callout>}}^i$$

form an orthonormal basis as the original e _{n 1 , n 2} and are common eigenvectors of all cyclic convolution matrices. The base change from the e _mn to the b _{k 1 k 2} corresponds to the discrete, finite Fourier transform of the associated vector components.
The eigenvalue equation F · b _{k 1 k 2} = λ _{k 1 k 2} b _{k 1 k 2} for a (cyclic) folding matrix F is written out in components $${\displaystyle \underset{n_1^{\text{'}}{n}_2^{\text{'}}}{\Sigma }{F}_{n_1-n_1^{\text{'}}.n_2-n_2^{\text{'}}}{\left(b_{k_1{k}_2}\right)}_{n_1^{\text{'}}{n}_2^{\text{'}}}={\displaystyle \underset{n_1^{\text{'}}.n_2^{\text{'}}}{\Sigma }{F}_{n_2^{\text{'}}{n}_2^{\text{'}}}{\left(b_{k_1{k}_2}\right)}_{n_1-n_1^{\text{'}}.n_2-n_2^{\text{'}}}={\lambda }_{k_1{k}_2}{\left(b_{k_1{k}_2}\right)}_{n_1{\mathrm{<figure-callout\; id="2"\; label="n"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">n</figure-callout>}}_2}}}$$

Because of Eq. (25) the relation ( b _{k 1 k 2} ) _{n 1 - n ' 1 , n 2 - n ' 2} = exp [- i 2 π ( k ₁ n ₁ / N ₁ + k ₂ n ₂ / N ₂ )] ( b _{k 1 k 2} ) _{n 1 n 2} holds, the associated eigenvalues λ _{k 1 k 2} be read: $${\lambda }_{k_1{\mathrm{<figure-callout\; id="2"\; label="k"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">k</figure-callout>}}_2}={\displaystyle \underset{n_1{n}_2}{\Sigma }{F}_{n_1{n}_2}{e}^{-\mathrm{<figure-callout\; id="2"\; label="i"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">i</figure-callout>}2\pi \left(k_1{\mathrm{<figure-callout\; id="1"\; label="n"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">n</figure-callout>}}_1/{\mathrm{<figure-callout\; id="1"\; label="N"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">N</figure-callout>}}_1+k_2{\mathrm{<figure-callout\; id="2"\; label="n"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">n</figure-callout>}}_2/{\mathrm{<figure-callout\; id="2"\; label="N"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">N</figure-callout>}}_2\right)}},$$

Of course, these N ₁ x N ₂ eigenvalues generally do not all need to be different. Functions h (F) of a matrix F , which acts as a cyclic convolution, can be used according to $H\left(F\right)={\displaystyle {\Sigma }_{k_1{k}_2}H\left({\lambda }_{k_1{k}_2}\right)b_{k_1{k}_2}{b}_{k_1{k}_2}^{\mathrm{T}}}$

be formed. Of course, because of the common eigenvector system, all matrices that act as cyclic convolution are interchangeable. For the case that Γ ₁ and T ₂ and also A are such matrices, Eq. (8) as $$\underset{\_}{\chi }\left(\mathit{is}\right)={\displaystyle \underset{k_1{k}_2}{\Sigma }\left[a_{k_1{k}_2}\frac{s{\left(t_2\right)}_{k_1{\mathrm{<figure-callout\; id="2"\; label="k"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">k</figure-callout>}}_2}+1}{s+{\left({\gamma }_1\right)}_{k_1{k}_2}}\right]b_{k_1{k}_2}{b}_{k_1{k}_2}^{\mathrm{T}}}$$

are evaluated, where ( γ ₁ ) _{k 1 k 2} , ( t ₂ ) _{k 1 k 2} and a _{k 1 k 2} are the eigenvalues associated with Γ ₁ , T _2, and A , respectively, which are as described by Eq. (27) can be calculated directly from the entries of the respective convolution matrix. The square bracket in Eq. (28) can be regarded as a "scalar" transfer function, which (in the ω or s range) indicates the transmission of spatial Fourier components to the respective same spatial frequency pair. By components with respect to the base e _{n 1 n 2} takes, one receives $${\underset{\_}{\chi }}_{n_1-n_1^{\text{'}}.n_2-n_2^{\text{'}}}\left(\mathit{is}\right)={\displaystyle \underset{k_1{k}_2}{\Sigma }\left[\frac{a_{k_1{k}_2}}{N_1{N}_2}\frac{s{\left(t_2\right)}_{k_1{\mathrm{<figure-callout\; id="2"\; label="k"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">k</figure-callout>}}_2}+1}{s+{\left({\gamma }_1\right)}_{k_1{k}_2}}\right]{\mathrm{<figure-callout\; id="2"\; label="e\; i"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">e\; </figure-callout>}}^i},$$

This transfer function describes the response of the pixel value u _{n 1 n 2} to the whole set of all pixel values v _{n ' 1 n ' 2} without having to refer directly to the spatial Fourier components. In case that

and

Matrices and also A matrices, which act as (cyclic) convolution, result for the discrete-time case from Eq. (22) completely analogous to Eq. (28) $$\mathrm{\Phi }\left(z\right)={\displaystyle \underset{k_1{k}_2}{\Sigma }\left\{a_{k_1{\mathrm{<figure-callout\; id="2"\; label="k"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">k</figure-callout>}}_2}\frac{\mathrm{\Delta }t{\left({\varsigma }_1\right)}_{k_1{k}_2}\left[z+\left(1-z\right){\left({\varsigma }_2\right)}_{k_1{\mathrm{<figure-callout\; id="2"\; label="k"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">k</figure-callout>}}_2}\right]}{\left[1-z{\left({\varsigma }_1\right)}_{k_1{k}_2}\right]}\right\}}{b}_{k_1{k}_2}{b}_{k_1{k}_2}^{\mathrm{T}},$$

Die geschweifte Klammer ist wieder die "skalare" Übertragungsfunktion, die (im z-Bereich) die Übertragung gleichartiger räumlicher Fourierkomponenten angibt. In den Gln. (28) und (30) ist auch der "skalare" Fall wieder mit eingeschlossen. Als Analogon von Gl. (29) ergibt sich $${\mathrm{\Phi }}_{n_1-n_1^{\prime },n_1-n_2^{\prime }}\left(z\right)={\displaystyle \sum _{k_1{k}_2}\left\{\frac{a_{k_1{k}_2}}{N_1{N}_2}\frac{\mathrm{\Delta }t{\left({\varsigma }_1\right)}_{k_1{k}_2}\left[z+\left(1-z\right){\left({\varsigma }_2\right)}_{k_1{k}_2}\right]}{\left[1-z{\left({\varsigma }_1\right)}_{k_1{k}_2}\right]}\right\}}{e}^{i2\pi \left[k_1\left(n_1-n_1^{\prime }\right)/N_1+k_2\left(n_2-n_2^{\prime }\right)/N_2\right]}.$$

Der Ausdruck Gl. (27) gilt unabhängig von der Größe für die Eigenwerte von Faltungsmatrizen. Wenn eine Faltungsmatrix F _{n 1 n 2} beispielsweise nur für |n ₁| ≤ 1 und |n ₂| ≤ 1 von Null verschieden ist [(3 x 3)-Matrixfilter] und die spezielle hochsymmetrische Form $$F_{n_1{n}_2}=\left\{\begin{array}{ccccccc}\cdots & \cdots & \cdots & \cdots & \cdots & \cdots & \cdots \\ \cdots & 0& 0& 0& 0& 0& \cdots \\ \cdots & 0& A& B& A& 0& \cdots \\ \cdots & 0& B& C& B& 0& \cdots \\ \cdots & 0& A& B& A& 0& \cdots \\ \cdots & 0& 0& 0& 0& 0& \cdots \\ \cdots & \cdots & \cdots & \cdots & \cdots & \cdots & \cdots \end{array}\right\}$$

besitzt, reduziert sich Gl. (27) auf $$\begin{array}{l}{\lambda }_{k_1{k}_2}=2A\left\{\cos \left[2\pi \left(k_1/N_1+k_2/N_2\right)\right]+\cos \left[2\pi \left(k_1/N_1-k_2/N_2\right)\right]\right\}+\\ +2B\left\{\cos \left[2\pi \left(k_1/N_1\right)\right]+\cos \left[2\pi \left(k_2/N_2\right)\right]\right\}+C\end{array}$$

The curly brace is again the "scalar" transfer function which (in the z- domain) indicates the transfer of similar spatial Fourier components. In the Gln. (28) and (30) the "scalar" case is included again. As an analog of Eq. (29) results $${\mathrm{\Phi }}_{n_1-n_1^{\text{'}}.n_1-n_2^{\text{'}}}\left(z\right)={\displaystyle \underset{k_1{k}_2}{\Sigma }\left\{\frac{a_{k_1{k}_2}}{N_1{\mathrm{<figure-callout\; id="2"\; label="N"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">N</figure-callout>}}_2}\frac{\mathrm{\Delta }t{\left({\varsigma }_1\right)}_{k_1{k}_2}\left[z+\left(1-z\right){\left({\varsigma }_2\right)}_{k_1{\mathrm{<figure-callout\; id="2"\; label="k"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">k</figure-callout>}}_2}\right]}{\left[1-z{\left({\varsigma }_1\right)}_{k_1{k}_2}\right]}\right\}}{\mathrm{<figure-callout\; id="2"\; label="e\; i"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">e\; </figure-callout>}}^i,$$

The expression Eq. (27) applies to the eigenvalues of convolution matrices, regardless of size. If a convolution matrix F _{n 1 n 2} for example, only for | n ₁ | ≤ 1 and | n ₂ | ≤ 1 is different from zero [(3 x 3) matrix filter] and the special highly symmetric shape $$F_{n_1{\mathrm{<figure-callout\; id="2"\; label="n"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">n</figure-callout>}}_2}=\left\{\begin{array}{ccccccc}\cdots & \cdots & \cdots & \cdots & \cdots & \cdots & \cdots \\ \cdots & 0& 0& 0& 0& 0& \cdots \\ \cdots & 0& \mathrm{<figure-callout\; id="0"\; label="A\; B\; A"\; filenames="imgf0005.png"\; state="\{\{state\}\}">A\; </figure-callout>}& B& A& 0& \cdots \\ \cdots & 0& \mathrm{<figure-callout\; id="0"\; label="B\; C\; B"\; filenames="imgf0005.png"\; state="\{\{state\}\}">B\; </figure-callout>}& C& B& 0& \cdots \\ \cdots & 0& \mathrm{<figure-callout\; id="0"\; label="A\; B\; A"\; filenames="imgf0005.png"\; state="\{\{state\}\}">A\; </figure-callout>}& B& A& 0& \cdots \\ \cdots & 0& 0& 0& 0& 0& \cdots \\ \cdots & \cdots & \cdots & \cdots & \cdots & \cdots & \cdots \end{array}\right\}$$

owns, reduces Eq. (27) $$\begin{array}{l}{\lambda }_{k_1{\mathrm{<figure-callout\; id="2"\; label="k"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">k</figure-callout>}}_2}=2\mathrm{<figure-callout\; id="2"\; label="A\; cos"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">A\; </figure-callout>}\left\{\cos \right\}\left\{\left[2\mathrm{<figure-callout\; id="1"\; label="\pi \; k"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">\pi \; </figure-callout>}\left(k_{}\right)\left({}_1/{\mathrm{<figure-callout\; id="1"\; label="N"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">N</figure-callout>}}_1+{\mathrm{<figure-callout\; id="2"\; label="k"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">k</figure-callout>}}_2/{\mathrm{<figure-callout\; id="2"\; label="N"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">N</figure-callout>}}_2\right)\right]+\mathrm{<figure-callout\; id="2"\; label="cos"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">cos</figure-callout>}\left[2\mathrm{<figure-callout\; id="1"\; label="\pi \; k"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">\pi \; </figure-callout>}\left(k_{}\right)\left({}_1/N_1-{\mathrm{<figure-callout\; id="2"\; label="k"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">k</figure-callout>}}_2/{\mathrm{<figure-callout\; id="2"\; label="N"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">N</figure-callout>}}_2\right)\right]\right\}+\\ +2\mathrm{<figure-callout\; id="2"\; label="B\; cos"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">B\; </figure-callout>}\left\{\cos \right\}\left\{\left[2\mathrm{<figure-callout\; id="1"\; label="\pi \; k"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">\pi \; </figure-callout>}\left(k_{}\right)\left({}_1/{\mathrm{<figure-callout\; id="1"\; label="N"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">N</figure-callout>}}_1\right)\right]+\mathrm{<figure-callout\; id="2"\; label="cos"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">cos</figure-callout>}\left[2\mathrm{<figure-callout\; id="2"\; label="\pi \; k"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">\pi \; </figure-callout>}\left(k_{}\right)\left({}_2/{\mathrm{<figure-callout\; id="2"\; label="N"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">N</figure-callout>}}_2\right)\right]\right\}+C\end{array}$$

Die Gleichung (33) gilt für alle Eigenwerte der Faltungsmatrizen der in Gleichung (32) beschriebenen Art und ist somit einheitlich für Nullstellen, Polstellen und Amplituden-Eigenwerte anwendbar. Man sieht, dass durch Anpassung der wenigen Parameter A, B und C die Lage der N ₁ N ₂ Eigenwerte einer Faltungsmatrix natürlich nur auf eingeschränkte Weise manipuliert werden kann. Die Einschränkungen werden freilich geringer, wenn mehr als drei unabhängige Parameter und ggf. größere Faltungsmatrizen in Betracht gezogen werden.Equation (33) applies to all eigenvalues of the convolution matrices of the type described in Equation (32) and thus is uniformly applicable to zeros, poles and amplitude eigenvalues. It can be seen that, by adapting the few parameters A, B and C, the position of the N ₁ N ₂ eigenvalues of a convolution matrix can of course only be manipulated in a limited manner. Of course, the restrictions are reduced if more than three independent parameters and possibly larger folding matrices are taken into account.

Die für die Filterkonfiguration entscheidenden Nullstellen s=-1/(t ₂) _{k 1 k 2} , Polstellen s=-(γ ₂) _{k 1 k 2} sowie die Amplituden-Eigenwerte a _{k 1 k 2} hängen separat von jeweils einem derartigen Parametersatz ab. Zur Konfiguration des Bildfilters 3 für ein konkretes Problem möchte man sie möglichst frei und gezielt vorgeben können, was durch die genannten Einschränkungen allerdings nicht möglich ist. Da der Zusammenhang zwischen den (jeweils drei oder ggf. mehr) Parametern und den je N ₁ N ₂ Eigenwerten aber durch lineare Beziehungen wie Gl. (33) gegeben ist, kann man dieses Problem (computergestützt) dadurch zu lösen versuchen, dass man alle Nullstellen, Polstellen und Amplituden-Eigenwerte zunächst trotzdem nach Maßgabe des konkreten Problems vorschreibt. Zum Beispiel könnte man eine bestimmte funktionale Abhängigkeit von den diskreten Ortsfrequenz-Indizes k ₁ und k ₂ vorgeben. Dabei entstehen drei separate Systeme von je N ₁ N ₂ linearen Gleichungen für die (jeweils drei oder ggf. mehr) zugeordneten Filterkernparameter.
Diese linearen Gleichungssysteme sind - außer bei Faltungsmatrizen in Vollbildgröße - natürlich überbestimmt, d. h. sie besitzen keine exakte Lösung. Es können jedoch numerisch dafür optimale Näherungslösungen bestimmt werden, die das jeweilige Gleichungssystem im Sinne der kleinsten Fehlerquadrate bestmöglich befriedigen. Dabei kann auch noch eine bestimmte Gewichtung der einzelnen Ortsfrequenzen berücksichtigt werden, wodurch im Sinne einer Kompromissfindung eine angestrebte Filterwirkung in bestimmten Ortsfrequenzbereichen besser, jedoch zulasten der Wirkung in anderen Ortsfrequenzbereichen, erreicht wird. Je nach Größe der Restfehler kann man dann hoffen, dass so ermittelte Filterparameter eine Filtercharakteristik herbeiführen, die das angestrebte Verhalten mehr oder weniger gut annähert.The zeros s = -1 / ( t ₂ ) _k decisive for the filter configuration _{1 k 2} , Poles s = - ( γ ₂ ) _{k 1 k 2} as well as the amplitude eigenvalues a _{k 1 k 2} hang separately from one each such parameter set. To configure the image filter 3 for a specific problem you want to pretend as free and targeted as possible, which is not possible by the above restrictions. Since the relationship between the (three or more) parameters and the N ₁ N ₂ eigenvalues, respectively, is determined by linear relationships such as Eq. (33), one can solve this problem (computer-aided) by first prescribing all zeros, poles and amplitude eigenvalues according to the concrete problem. For example, one could specify a certain functional dependence on the discrete spatial frequency indices k ₁ and k ₂ . This results in three separate systems of each N ₁ N ₂ linear equations for the (each three or possibly more) associated filter kernel parameters.
These linear systems of equations are, of course, overdetermined, except in the case of full-size convolution matrices, ie they have no exact solution. However, optimal approximate solutions can be determined numerically for this, which satisfy the respective system of equations in the sense of the least squares in the best possible way. In this case, even a certain weighting of the individual spatial frequencies can be taken into account, whereby a desired filter effect in certain spatial frequency ranges better, but at the expense of the effect in other spatial frequency ranges, is achieved in the sense of a compromise finding. Depending on the size of the residual errors, it can then be hoped that filter parameters determined in this way will produce a filter characteristic that more or less approximates the desired behavior.

In obigen Überlegungen stand die Kaskadierung zweier Teilsysteme erster Ordnung am Anfang, wobei ein "differenzierendes" Teilsystem Gl. (2) und ein "integrierendes" Teilssystem Gl. (1) über den Zwischensignalvektor f hintereinandergeschaltet waren. Wie die für die Übertragungsfunktionen erhaltenen Ausdrücke zeigen, ergab dies (im "skalaren" Fall) die Möglichkeit, durch eine Nullstelle eine Polstelle und/oder durch eine Polstelle eine Nullstelle mittels des kaskadierten Gesamtfilters zu kompensieren. Es ist klar, dass mit Hilfe von zusätzlichen Zwischensignalvektoren ohne Weiteres ganz analog auch mehrere Teilsysteme erster Ordnung von einem oder beiden Teilsystemtypen kaskadiert werden können. Im skalaren Fall führt dies zu der Möglichkeit, mehrere Polstellen und/oder Nullstellen mit dem entstehenden Gesamtfilter zu kompensieren.In the above considerations, the cascading of two first order subsystems was at the beginning, with a "differentiating" subsystem Eq. (2) and an "integrating" subsystem Eq. (1) were connected in series via the intermediate signal vector f . As the expressions obtained for the transfer functions show, this (in the "scalar" case) has the potential to compensate for a pole by a zero and / or a pole by a pole by means of the cascaded overall filter. It is clear that, with the aid of additional intermediate signal vectors, several first-order subsystems of one or both subsystem types can also be cascaded in a completely analogous manner. In the scalar case, this leads to the possibility of compensating for multiple poles and / or zeros with the resulting total filter.

Dieselbe Verallgemeinerung ist aber auch im Fall von Koeffizienten, die Matrizen sind, völlig analog möglich. Von Γ₁ und T ₂ (und ggf. auch A) gibt es dann mehrere Ausgaben Γ₁ ^(α) bzw. T ₂ ^(β). Wenn die Matrizen als Faltungsmatrizen fungieren und man auf zusätzliche Duplikate von A verzichtet, ist ohne erneute Rechnung klar, dass beispielsweise Gl. (28) zu $$\underset{\_}{\chi }\left(\mathit{is}\right)={\displaystyle \sum _{k_1,k_2}{a}_{k_1,k_2}\left[\frac{s{\left(t_2^{\left(1\right)}\right)}_{k_1,k_2}+1}{s+{\left({\gamma }_1^{\left(1\right)}\right)}_{k_1,k_2}}\right]\left[\frac{s{\left(t_2^{\left(2\right)}\right)}_{k_1,k_2}+1}{s+{\left({\gamma }_1^{\left(2\right)}\right)}_{k_1,k_2}}\right]}\left[\dots \right]b_{k_1{k}_2}{b}_{k_1{k}_2}^{\mathrm{T}}$$

verallgemeinert werden kann. Auf die weitere Explizierung kann hier verzichtet werden.However, the same generalization is also possible in the case of coefficients which are matrices. From Γ ₁ and T ₂ (and possibly also A ) there are then several outputs Γ ₁ ^(α) and T ₂ ^(β) . If the matrices function as folding matrices and one omits additional duplicates of A , it is clear without re-calculation that, for example, Eq. (28) too $$\underset{\_}{\chi }\left(\mathit{is}\right)={\displaystyle \underset{k_{}}{<figure-callout\; id="1"\; label="\Sigma \; k"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">\Sigma \; </figure-callout>}{a}_{{\mathrm{<figure-callout\; id="1"\; label="k"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">k</figure-callout>}}_1.k_2}\left[\frac{s{\left({\mathrm{<figure-callout\; id="2"\; label="t"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">t</figure-callout>}}_2^{\left(1\right)}\right)}_{{\mathrm{<figure-callout\; id="1"\; label="k"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">k</figure-callout>}}_1.{\mathrm{<figure-callout\; id="2"\; label="k"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">k</figure-callout>}}_2}+1}{s+{\left({\mathrm{<figure-callout\; id="1"\; label="\gamma "\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">\gamma </figure-callout>}}_1^{\left(1\right)}\right)}_{{\mathrm{<figure-callout\; id="1"\; label="k"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">k</figure-callout>}}_1.k_2}}\right]\left[\frac{s{\left({\mathrm{<figure-callout\; id="2"\; label="t"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">t</figure-callout>}}_2^{\left(2\right)}\right)}_{{\mathrm{<figure-callout\; id="1"\; label="k"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">k</figure-callout>}}_1.{\mathrm{<figure-callout\; id="2"\; label="k"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">k</figure-callout>}}_2}+1}{s+{\left({\mathrm{<figure-callout\; id="1"\; label="\gamma "\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">\gamma </figure-callout>}}_1^{\left(2\right)}\right)}_{{\mathrm{<figure-callout\; id="1"\; label="k"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">k</figure-callout>}}_1.{\mathrm{<figure-callout\; id="2"\; label="k"\; filenames="imgf0001.png,imgf0002.png"\; state="\{\{state\}\}">k</figure-callout>}}_2}}\right]}\left[...\right]b_{k_1{k}_2}{b}_{k_1{k}_2}^{\mathrm{T}}$$

can be generalized. The further explication can be omitted here.

In Fig. 3 ist die Erfindung in einer ersten Ausführung als Prinzipdarstellung eines IIR-Systems gezeigt, mit der das oben beschriebene Bildfilter 3 in einer rekursiven Art realisiert wird.
Fig. 3 zeigt - schematisch skizziert - einen Signallaufplan in einer kanonischen Normalform. Aktuelle (zu einem Zeitpunkt t gehörige) Zwischensignaldaten w(t) werden aus aktuellen (zur selben Zeit t gehörigen) Filtereingangsdaten u(t) und zum vorigen diskreten Zeitpunkt gehörigen, verzögerten Zwischensignaldaten (Symbol z ^-1 für die zeitliche Verzögerung) linear kombiniert. Aktuelle und verzögerte Zwischensignaldaten werden zum korrigierten Ergebnissignal v(t) linear kombiniert. Die zum Bilden der Linearkombinationen benutzten Koeffizienten (hier im skalaren Fall mit a₁, b₀, b₁ sowie 1 bezeichnet) sind skalarwertig, wenn das Bildfilter 3 pixelweise arbeitet (rein zeitliche Filterung). Bei echt räumlich-zeitlicher Filterung wirken sie als Faltungsmatrix auf die Filtereingangsdaten 31 bzw. Zwischensignaldaten, sodass Pixelwerte auch räumlich gemischt werden.In Fig. 3 the invention is shown in a first embodiment as a schematic diagram of an IIR system, with which the above-described image filter 3 is realized in a recursive manner.
Fig. 3 shows - schematically sketched - a signal plan in a canonical normal form. Current intermediate signal data w ( t ) (belonging at a time t ) are linearly combined from current (at the same time t belonging) filter input data u ( t ) and the previous discrete time, delayed intermediate signal data (symbol z ^-1 for the time delay). Actual and delayed intermediate signal data are linearly combined to the corrected result signal v ( t ). The coefficients used to form the linear combinations (here designated a ₁ , b ₀ , b ₁ and 1 in the scalar case) are scalar-valued when the image filter 3 operates on a pixel-by-pixel basis (purely temporal filtering). With true spatio-temporal filtering, they act as convolution matrix on the filter input data 31 or intermediate signal data, so that pixel values are also spatially mixed.

In einer zweiten bevorzugten Ausführung der erfindungsgemäßen Wärmebildkamera ist das Bildfilter 3 gemäß Fig. 4 realisiert.
In Fig. 4 ist schematisch ein Signallaufplan in einer bevorzugten Ausführungsform skizziert. Aktuelle Zwischensignaldaten w(t) werden aus verzögerten Zwischensignaldaten und der Differenz von aktuellen Filtereingangsdaten u(t) und verzögerten Zwischensignaldaten (Symbol z ^-1 für die zeitliche Verzögerung) linear kombiniert. Aktuelle Filtereingangsdaten und verzögerte Zwischensignaldaten werden zum korrigierten Ergebnissignal v(t) linear kombiniert. Die zum Bilden der Linearkombinationen benutzten Koeffizienten (hier mit α₁, β₀ und β₁ bezeichnet) sind wiederum skalarwertig, wenn das Bildfilter 3 rein zeitlich arbeitet, und wirken als Faltungsmatrix bei echt räumlich-zeitlicher Filterung.In a second preferred embodiment of the thermal imaging camera according to the invention, the image filter 3 is according to FIG Fig. 4 realized.
In Fig. 4 schematically a signal flowchart is sketched in a preferred embodiment. Current intermediate signal data w ( t ) is linearly combined from delayed intermediate signal data and the difference of current filter input data u ( t ) and delayed intermediate signal data (symbol z ^-1 for the time delay). Current filter input data and delayed intermediate signal data are linearly combined to the corrected result signal v (t) . The coefficients used to form the linear combinations (here denoted by α ₁ , β ₀ and β ₁ ) are again scalar-valued when the image filter 3 operates purely temporally, and act as a convolution matrix with true spatio-temporal filtering.

Das erfindungsgemäße Verfahren und die erfindungsgemäße Wärmebildkamera sind bei Systemen, die sich hinsichtlich ihrer funktionellen Bestimmung (Frequenzgangkorrektur, Rauschunterdrückung, Bildglättung und Bildschärfung) und ihrer Realisierung (skalare / matrixwertige Koeffizienten) unterscheiden, verwendbar.
Die dargestellte technische Lösung verringert den dynamischen Temperaturmessfehler und die Bewegungsunschärfe einer IR-Wärmebildkamera. Damit öffnen sich Anwendungsgebiete, die bisher ausschließlich den gekühlten photonischen IR-Sensoren vorbehalten waren, für preiswerte Mikrobolometerarrays (beispielsweise Messung der Reifentemperatur vorbeifahrender LKW zur Erkennung von Gefahrensituationen). Von Vorteil ist, dass sich mit einem festen Systemdesign des räumlich-temporalen Bildfilters 3 allein durch Ändern von Parametern verschiedenartige Funktionen realisieren lassen, wie Frequenzgangkorrektur, Rauschunterdrückung, Bildglättung oder Bildschärfung.The method according to the invention and the thermal imaging camera according to the invention can be used in systems which differ in terms of their functional definition (frequency response correction, noise suppression, image smoothing and image sharpening) and their realization (scalar / matrix-valued coefficients).
The illustrated technical solution reduces the dynamic temperature measurement error and motion blur of an infrared thermal imager. This opens up areas of application previously reserved exclusively for cooled photonic IR sensors for low-cost microbolometer arrays (for example, measuring the tire temperature of passing trucks to detect dangerous situations). It is advantageous that various functions can be implemented with a fixed system design of the spatial-temporal image filter 3 merely by changing parameters, such as frequency response correction, noise suppression, image smoothing or image sharpening.

Bezugszeichenreference numeral

11

(thermischer) IR-Bildsensor(thermal) IR image sensor

1111

(IR-)Sensorarray(IR) sensor array

1212

Ausleseschaltungreadout circuit

1313

Bildvorverarbeitungseinheitimage pre-processing

22

BilddatenstromImage data stream

33

Bildfilterimage filters

3131

FiltereingangsdatenFilter input data

3232

räumliche Dimensionspatial dimension

3333

zeitliche Dimensiontemporal dimension

44

(korrigierte) Ergebnisbilddaten(corrected) result image data

55

Parameterberechnungseinheit (für Bildfiltereinstellung bzw. -anpassung)Parameter calculation unit (for image filter adjustment)

Claims (15)

1. Method for contactless temperature measurement or for observation of quickly moving IR scenes with a thermal IR image sensor (1) comprising the steps of:

   - capturing an IR scene by means of the thermal IR image sensor (1),

   - reading out a sensor array (11) of the IR image sensor (1) at a frame rate which is higher than a characteristic frequency associated with the thermal time constant τ_th of the IR image sensor and providing sensor signals in the form of pre-processed filter input data (31),

   - applying a spatio-temporal image filter (3), in which a matrix-valued transfer function contains adjustable parameters and in the form of matrix elements characterizes the response behaviour of each individual corrected result pixel value of output result image data (4) to an entire set of temporally preceding pixel values of the filter input data (31), wherein a desired filter characteristic is adjusted by:

   • adjusting parameters of the image filter (3) for influencing the position of eigenvalues of at least one convolution matrix in order to adapt at least zeros or poles in the transfer function of the configuration of the image filter (3) to a specific measurement task or observation task, wherein a linear equation system for influencing the eigenvalues of the at least one convolution matrix is solved at least approximately by means of numerical methods.
2. Method according to claim 1, wherein the sensor array (11) of the IR image sensor (1) is read out at a frame rate which is at least twice the characteristic frequency associated with the thermal time constant τ_th of the sensor elements of the sensor array (11) of the IR image sensor (1).
3. Method according to claim 1, wherein the sensor array (11) of the IR image sensor (1) is read out at a frame rate which is at least three times the characteristic frequency associated with the thermal time constant τ_th of the sensor elements of the sensor array (11) of the IR image sensor (1).
4. Method according to claim 1, wherein the parameters of the image filter (3) are adjusted for influencing the eigenvalues of the at least one convolution matrix by numerically solving the linear equation system by means of approximate solutions based on the least error squares.
5. Method according to claim 1, wherein, in addition to the poles and zeros, also amplitude eigenvalues of the configuration of the image filter (3) are adjusted by extending the linear equation system by other linear equations.
6. Method according to claim 1, wherein certain spatial frequencies are additionally weighted in the numerical solution of the linear equation system.
7. Thermal camera for contactless temperature measurement or for observation of quickly moving IR scenes with a thermal IR image sensor (1), characterized in that

   - at least one spatio-temporal image filter (3) is arranged downstream of the output of the IR image sensor (1), wherein a sensor array (11) of the IR image sensor (1) is read out at a frame rate which is higher than a characteristic frequency associated with the thermal time constant τ_th of the IR image sensor and wherein sensor signals in the form of pre-processed filter input data (31) are provided,

   - the image filter (3) is constructed as at least one image processing unit for implementing a matrix-valued transfer function, wherein

   - the matrix-valued transfer function contains adjustable parameters and in the form of matrix elements characterizes the response behaviour of each individual corrected result pixel value of output result image data (4) to an entire set of temporally preceding pixel values of the filter input data (31), wherein a desired filter characteristic is adjusted by adjusting parameters of the image filter (3) for influencing the position of eigenvalues of at least one convolution matrix in order to adapt at least zeros or poles in the transfer function of the configuration of the image filter (3) to a specific measurement task or observation task, wherein a linear equation system for influencing the eigenvalues of the at least one convolution matrix is solved at least approximately by means of numerical methods.
8. Thermal camera according to claim 7, characterized in that in at least one parameter calculation unit (5) the image filter (3) at least temporarily has means for adjusting parameters of the image filter (3) by influencing the position of eigenvalues of at least one convolution matrix in order to adapt at least zeros or poles of the transfer function to a specific measurement task or observation task, wherein the means for adjusting the parameters include a computer unit for solving a linear equation system for influencing the eigenvalues of the at least one convolution matrix by means of numerical approximation methods.
9. Thermal camera according to claim 7, characterized in that in a complex s-plane in the image area of a Laplace transformation the transfer function of the spatio-temporal image filter (3) has one or more zeros to compensate for the poles of the transfer function of the IR image sensor (1) or has one or more poles to limit the noise bandwidth.
10. Thermal camera according to claim 7, characterized in that one or more filter coefficients are either matrix-valued and configured as a convolution matrix in the spatial domain or scalar-valued and dimensioned such that by means of the transfer function of the image filter (3) the effects of the thermal inertia of the sensor pixels in the associated result pixel values of the output result image data (4) are reduced.
11. Thermal camera according to claim 7, characterized in that one or more filter coefficients are matrix-valued and configured as at least one convolution matrix in the spatial domain are dimensioned such that by means of the transfer function of the image filter (3) the effects of the crosstalk of the sensor pixels of the IR sensor array (11) in the associated result pixel values of the output result image data (4) are reduced.
12. Thermal camera according to claim 7, characterized in that one or more filter coefficients are matrix-valued and configured as at least one convolution matrix in the spatial domain are dimensioned such that by means of the transfer function of the image filter (3) the output result image data (4) of result pixel values have a spatial image smoothing or image sharpening.
13. Thermal camera according to claim 7, characterized in that one or more filter coefficients are scalar-valued and dimensioned such that by means of the transfer function of the image filter (3) the noise bandwidth of the sensor pixels in the associated result pixel values of the output result image data (4) is reduced.
14. Thermal camera according to claim 7, characterized in that one or more filter coefficients of the image filter (3) are continuously variably adjustable depending on the image content, so that by means of the transfer function of the image filter (3) there is always an optimised filter effect set with minimal artefacts in the output result image data (4).
15. Thermal camera according to claim 7, characterized in that a desired transfer function of the image filter (3) is implemented approximately by an IIR system.

Images