DE102011018263B4

DE102011018263B4 - Verfahren zur impulsthermografischen Qualitäts- und Fehlerklassifikation einer Fügeverbindung wie einer Strukturverklebung im Kfz-Karosseriebereich

Info

Publication number: DE102011018263B4
Application number: DE201110018263
Authority: DE
Inventors: Boris Zubert; Robert Strohmeyer; Thomas Kempen
Original assignee: Inpro Innovationsgesellschaft fuer Fortgeschrittene Produktionssysteme in der Fahrzeugindustrie mbH
Current assignee: Inpro Innovationsgesellschaft fuer Fortgeschrittene Produktionssysteme in der Fahrzeugindustrie mbH
Priority date: 2011-04-14
Filing date: 2011-04-14
Publication date: 2014-02-13
Anticipated expiration: 2031-04-15
Also published as: DE102011018263A1

Abstract

Verfahren zur impulsthermografischen Qualitäts- und Fehlerklassifikation einer Fügeverbindung wie einer Strukturverklebung im Kfz-Karosseriebereich, bei dem ein gefügtes Bauteil (Fügeprobe) impulsthermografisch zerstörungsfrei auf Fehler untersucht wird, indem die Fügeprobe mittels Ultraschall angeregt und der transiente Erwärmungs- und/oder Abkühlungsvorgang in der Fügeprobe mittels einer Thermografiekamera vor, während und nach dessen Anregung thermografisch erfasst wird und mittels eines mit der Thermografiekamera verbundenen Rechners alternative Repräsentationen des Thermografiefilms berechnet werden, und bei dem zudem folgende Verfahrensschritte durchgeführt werden: in einer Lernphase (Kalibrierung) (1. Schritt bis 10. Schritt) werden nach Wahl der Fügeprobe (1. Schritt) aus dem von der Thermografiekamera in einer impulsthermografischen Prüfung erfassten Thermografiefilm (2. Schritt) der gewählten Fügeprobe (1. Schritt) rechnermäßig normierte Filme auf der Basis der Zeit als Differenzfilm, zeitlich normierter Film und örtlich normierter Film erzeugt, dann werden mittels des Rechners zusätzlich zu den Bildern (Repräsentationen) des Originalfilms, des Differenzfilms und den normierten Filme aus den Daten des Originalfilms, des Differenzfilms sowie den Daten der erzeugten normierten Filme mittels FFT, HKA und NMF zusätzliche Repräsentationen des Thermografiefilms erzeugt (3. Schritt), wobei die Anzahl der zusätzlich erzeugten Repräsentationen von der jeweiligen Verfahrensweise abhängt, die erhaltenen alternativen Repräsentationen werden in einer dem Rechner nachgeschalteten Komparatorstufe abgelegt (3. Schritt), anschließend wird als zerstörend geprüfte Referenz mechanisch ein Horizontalschliff derselben Fügeprobe hergestellt, aus dem die gesuchten Fehler in der Fügeprobe optisch zu erfassen sind (4. Schritt), hierauf wird bei reproduzierter Einspannung des Horizontalschliffs und reproduzierter Positionierung der Thermografiekamera im identischen Verfahrensaufbau mittels der Thermografiekamera ein Thermogramm (einzelnes Thermografiebild) des identischen Ausschnitts der zerstörten Fügeprobe bei gleicher örtlicher Auflösung erstellt (5. Schritt), und der Thermografiefilm dieses Ausschnitts in dem der Thermografiekamera nachgeschalteten Rechner registriert, ...

Description

Die Erfindung betrifft ein Verfahren zur impulsthermografischen Qualitäts- und Fehlerklassifikation einer Fügeverbindung wie einer Strukturverklebung im Kfz-Karosseriebereich, bei dem ein gefügtes Bauteil (Fügeprobe) impulsthermografisch zerstörungsfrei auf Fehler untersucht wird, indem die Fügeprobe mittels Ultraschallimpuls angeregt und der transiente Erwärmungs- und/oder Abkühlungsvorgang in der Fügeprobe mittels einer Thermografiekamera vor, während und nach dessen Anregung thermografisch erfasst wird und mittels eines mit der Thermografiekamera verbundenen Rechners alternative Repräsentationen des Thermografiefilms berechnet werden.
Die Thermografie wie die Impulsthermografie als bildgebendes Messverfahren besitzt aufgrund ihrer Eigenschaft, Strukturen nahe unter inspizierten Oberfläche detektieren zu können, ein großes Potential in der zerstörungsfreien Prüfung (zfP) dünnwandiger Strukturen, wie sie z. B. in der Automobilindustrie eingesetzt werden, und zwar z. B. als zerstörungsfreie Prüfverfahren von Schweißpunkten und Laserschweißnähten.
Bei der Impulsthermografie wird ein im thermischen Gleichgewicht befindlicher Körper durch einen Wärmeimpuls angeregt, wobei die auch an seiner Oberfläche stattfindenden Wärmeausgleichsvorgänge mit der Thermografiekamera erfasst werden. Auf diese Weise wird für jeden Pixel des Thermografiefilms ein Zeitverlauf erfasst, der qualitativ den Temperaturverlauf an der Oberfläche des Körpers wiedergibt. Diese Ausgleichsvorgänge folgen Fouriers Gesetz der Wärmeleitung
In dieser Gleichung stellen dar:
den Wärmefluss
λ
die Wärmeleitfähigkeit und
T(x →)
die Temperatur.
Besitzt der Körper Inhomogenitäten hinsichtlich der Materialeigenschaften λ, beeinflusst das die Wärmeausbreitung im Körper und somit auch die für die Thermografiekamera sichtbare Wärmeverteilung an seiner Oberfläche. Zur thermischen Anregung werden z. B. Fotoblitz, defokussierter Laser, Induktion, Kalt- oder Warmluft oder Ultraschall eingesetzt. Hinzu kommt die thermografische Inspektion von Klebenähten.
Das Kleben kommt in der Automobilindustrie verstärkt zum Einsatz in Kombination mit anderen Fügeverfahren wie z. B. beim Falzkleben oder dem Punktschweißen. So wird angestrebt, durch den Einsatz von Epoxydklebstoffen die Strukturfestigkeit des Bauteils zu erhöhen oder die Dichtigkeit der Verbindung sicherzustellen.
Mittels ultraschallangeregter Lockin-Thermografie besteht die Möglichkeit, Klebnähte auf Lufteinschlüsse, Fehlstellen und bedingt auf Anbindungsfehler wie z. B. kissingbonds zu untersuchen und zu charakterisieren. Speziell bei der Ermittlung von Fehlstellen und Lufteinschlüssen wird dabei ausgenutzt, dass Luft, Klebstoff und Stahl die angeregten mechanischen Schwingungen unterschiedlich stark dämpfen und somit unterschiedlich stark mechanische Energie in Wärmeenergie wandeln.
Um eine automatisierte, zerstörungsfreie Prüfung zu realisieren, ist es notwendig, die gesamte Information des Thermografiefilms schrittweise auf die Information fehlerfrei oder fehlerbehaftet zu reduzieren. So wird in einem ersten Schritt der Thermografiefilm auf ein einzelnes, informationstragendes Bild reduziert, d. h. es wird die Repräsentation des Films hergestellt. Um derartige Repräsentation zu ermitteln, finden Verfahren Anwendung, die teils auf physikalischen Ansätzen fundiert sind und teils auf heuristischen Ansätzen basieren.
Bei physikalischen Ansätzen handelt es sich z. B. um die Fourieranalyse bei Lockin- und Impulsthermografie oder um die sog. Thermal-Signal-Reconstruction”.
Bei der Ermittlung alternativer Repräsentationen des Thermografiefilms können Fourieranalyse (FFT), Hauptkomponentenanalyse (HKA) und Non-Negative-Matrix-Factorization (NMF) auf sämtliche Repräsentationen auf der Basis der Zeit angewendet werden.
Die oben beschriebenen, zu jedem Pixel gehörigen Zeitverläufe des Thermografiefilms lassen sich in verschiedenen Basissystemen darstellen, z. B.: Über die Zeit, spektral, hinsichtlich der Hauptkomponenten und bezogen auf ein Basissystem, das mittels NMF ermittelt wird, wobei diese Repräsentationen zum Teil auch zu kombinieren sind. Die Repräsentationen des Thermografiefilms stellen in diesen Fällen sämtliche zur jeweiligen Basis gehörenden Koeffizientenbilder dar.
Aus der DE 10 2009 031 605 A1 ist ein Verfahren bekannt, mit dem die Qualität von Schweißpunkten von Bauteilen aus verzinkten Blechen mittels impulsangeregter Thermografie, wie Induktionsthermografie, des fertig geschweißten Bauteils im Bereich des Schweißpunktes zu klassifizieren ist, der normalerweise aus einer Schweißlinse als geschmolzener Zone und einem Zinksaum als um letztere herumliegende nicht geschmolzene Zone besteht, wobei die Oberflächentemperaturverteilung, die sich durch den im Bauteil entstehenden Wärmefluss auf der anregungsabgewandten Seite des Bauteils ergibt, von einer Thermografiekamera in ihrem örtlichen und zeitlichen Verlauf bildgebend gemessen wird, und von einem mit der Thermografiekamera gekoppelten Rechner die erfassten Intensitätszeitverläufe ausgewertet werden. Hierbei wird der Schweißlinsendurchmesser D_SL wird nach folgender Formel berechnet: D_SL = C₀ + C₁·D_SH + C₂·H_BI + C₃·H_RP + C₄·D_SH·H_BI + C₅·E_OK, wobei darstellen:
D_SL den Schweißlinsendurchmesser,
D_SH den thermografischen Durchmesser von Schweißlinse und Zinksaum,
H_BI den Blechabstand im Bereich der Schweißlinse,
H_RP die Restpunktdicke, d. h. die originale Blechstärke der verzinkten Bleche vermindert um die Einsinktiefe der Schweißelektroden,
E_OK die Oberflächenemissivität der anregungsabgewandten Seite des Schweißpunktes,
C₀ bis C₅ Konstanten.
Die Parameter D_SH, H_BI, H_RP und E_OK werden zuvor über die Zeitverläufe der Impulsintensität aus dem Thermografiefilm jeweils wie folgt bestimmt:

– der thermografische Durchmesser D_SH von Schweißlinse und Zinksaum, indem die Zeitverläufe der Impulsintensität aus dem Thermofilm auf Standardnormalverteilung normiert werden, nach Maskierung von Bereichen, die weniger als sämtliche Blechlagen enthalten, eine Hauptkomponentenanalyse für die normierten Zeitverläufe der Impulsintensität erfolgt, dann ein binäres Bild mittels Schwellwertanalyse auf dem Koeffizientenbild der ersten Hauptkomponente bestimmt wird und daraus durch Hough-Transformation der thermografische Durchmesser D_SH von Schweißlinse und Zinksaum ermittelt wird,
– der Blechabstand H_BI im Bereich der Schweißlinse, indem das Koeffizientenbild der ersten Hauptkomponente erstellt und die Koeffizienten außerhalb des Schweißpunktes und außerhalb der Maskierung gemittelt werden, wobei der erhaltene Mittelwert mit dem Blechabstand H_BI in diesem Bereich korreliert,
– die Restpunktdicke H_RP, indem über die Zeitverläufe der Impulsintensität des Thermografiefilms Radius und Lage von Schweißlinse und Zinksaum auf Standardnormalverteilung normiert werden, in diesem Bereich ein repräsentativer Zeitverlauf der Impulsintensität durch Mittelung oder Wahl des Zeitverlaufes der Impulsintensität bestimmt wird, bei dem das Maximum zuerst erreicht wird, und dann die Totzeit berechnet wird, deren Wert mit der Restpunktdicke H_RP korreliert,
– die Oberflächenemissivität E_OK der anregungsabgewandten Seite des Schweißpunktes, indem auf dem Koeffizientenbild zur ersten Hauptkomponente eine Schwellwertanalyse zur Bestimmung eines Bereiches durchgeführt wird, auf dem die Oberflächenemissivität auszuwerten ist, dann die Bestimmung der Maxima der Zeitverläufe der Impulsintensität in diesem Bereich erfolgt und über die Mittelung der Maxima die Kenngröße E_OK als Oberflächenemissivität erhalten wird, und
– die Konstanten C₀ bis C₅ bestimmt werden, indem zuvor der Schweißpunkt eines Referenzbauteils aus verzinkten Blechen zerstört und der Referenzschweißlinsendurchmesser R_SL-RE gemessen und die mittlere quadratische Abweichung von D_SL zum gemessenen Wert D_SL-RE aus der zerstörenden Prüfung minimiert wird.

Anschließend wird der formelmäßig berechnete Schweißlinsendurchmesser D_SL klassifiziert als:
i. O. wenn sich ergibt: D_RL ≥ D_SLmin oder
n. i. O. wenn sich ergibt: D_SL < D_SLmin
Weiterhin ist aus der DE 10 2006 061 794 B3 ein Verfahren zur automatischen berührungslosen und zerstörungsfreien Prüfung einer Schweißverbindung mindestens zweiter Fügepartner aus gleich oder unterschiedlichen Materialien, insbesondere eines Schweißpunktes bekannt. Der Schweißpunkt weist im Normalfall eine Zwei-Bereich-Verbindung auf, die aus einer geschmolzenen Zone, genannt Schweißlinse, und einer um die Schweißlinse herum liegende nicht geschmolzene Zone, genannt Schweißkleber besteht. Das Verfahren ist als Untersuchung von Infrarotbildern ausgebildet, so dass ein Prüfling von mindestens einer Quelle angeregt und der dabei entstehende Wärmefluss von mindestens einem Infrarotsensor in einer Serie von Thermobildern erfasst wird. Die Thermobilder und die aus der Bildserie gewonnenen Ergebnisbilder verschiedener Typen, die einen Wärmefluss in Transmission und/oder in Reflexion mit zeitlicher und räumlicher Auflösung darstellen, werden untersucht. Hierbei wird die entstehende Schweißlinse in einem Ergebnisbild, das die Wärmeflussdynamik durch die Schweißverbindung darstellt, als Bereich aus einer Reihe von Bereichen der Wärmeflussdynamik derart ermittelt, dass diese Bereiche aus Bildpunkten oberhalb eines dynamischen Schwellwertes bestehen, der vom maximalen zum minimalen Schwellwert variiert wird, wobei der maximale Schwellwert dem Spitzenwert der Wärmeflussdynamik entspricht und der minimale Schwellwert oberhalb der Wärmeflussdynamik des Bildhintergrundes liegt. Auf diese Weise werden diese Bereiche der Wärmeflussdynamik nach einer sprungartigen Vergrößerung ihres Umfangs untersucht, die auf die gesuchte Schweißlinse hindeutet, welche dann nach ihrer Position und Größe bewertet wird.
Der Erfindung liegt daher die Aufgabe zu Grunde, ein Verfahren der eingangs erwähnten Art zu Verfügung zu stellen, mit dem effektiv die Qualitäts- und Fehlerklassifikation einer Fügeverbindung wie einer Strukturverklebung im Kfz-Bereich automatisiert in Großserie zu gewährleisten ist.
Diese Aufgabe wird erfindungsgemäß gelöst durch das Verfahren der eingangs erwähnten Art, bei dem folgende weitere Verfahrenschritte durchgeführt werden:
in einer Lernphase (Kalibrierung) (1. Schritt bis 10. Schritt) werden nach Wahl der Fügeprobe (1. Schritt) aus dem von der Thermografiekamera in einer impulsthermografischen Prüfung erfassten Thermografiefilm (2. Schritt) der gewählten Fügeprobe (1. Schritt) rechnermäßig normierte Filme auf der Basis der Zeit als Differenzfilm, zeitlich normierter Film und örtlich normierter Film erzeugt,
dann werden mittels des Rechners zusätzlich zu den Bildern (Repräsentationen) des Originalfilms, des Differenzfilms und den normierten Filmen aus den Daten des Originalfilms, des Differenzfilms sowie den Daten der erzeugten normierten Filme mittels FFT, HKA und NMF zusätzliche Repräsentationen des Thermografiefilms erzeugt (3. Schritt), wobei die Anzahl der zusätzlich erzeugten Repräsentationen von der jeweiligen Verfahrensweise abhängt,
die erhaltenen alternativen Repräsentationen werden in einer dem Rechner nachgeschalteten Komparatorstufe abgelegt (3. Schritt),
anschließend wird als zerstörend geprüfte Referenz mechanisch ein Horizontalschliff derselben Fügeprobe hergestellt, aus dem die gesuchten Fehler in der Fügeprobe optisch zu erfassen sind (4. Schritt),
hierauf wird bei reproduzierter Einspannung des Horizontalschliffs und reproduzierter Positionierung der Thermografiekamera im identischen Verfahrensaufbau mittels der Thermografiekamera ein Thermogramm (einzelnes Thermografiebild) des identischen Ausschnitts der zerstörten Fügeprobe bei gleicher örtlicher Auflösung erstellt (5. Schritt), und der Thermografiefilm dieses Ausschnitts in dem der Thermografiekamera nachgeschalteten Rechner registriert,
das somit in gleicher Lage und Auflösung vorhandene Thermogramm des Horizontalholzschliffs wird als Referenz für eine pixelweise Klassifizierung des Thermografiefilms verwendet, wobei die Referenz jeden Pixel des Thermografiefilms einer der Klassen i. O., n. i. O. bzw. „nicht zu berücksichtigender Bereich” zuordnet (6. Schritt),
die so erzeugte Referenz wird der Komparatorstufe als Referenz zugeführt und mit sämtlichen in dieser bereits abgelegten Repräsentationen des Thermografiefilms der Fügeprobe zur Identifizierung der thermografisch gesuchten fehlerbehafteten und fehlerfreien Bereiche der Repräsentationen verglichen, indem für jede Repräsentation des Thermografiefilms ein Schwellwert zur Unterscheidung der in der Referenz als i. O. bzw. n. i. O. festgelegten Pixel bestimmt wird, wobei die nicht zu berücksichtigenden Pixel in diese Optimierung nicht eingehen, und indem die fehlklassifizierten Pixel gezählt werden und der Schwellwert solange verändert wird, bis die Anzahl der fehlklassifizierten Pixel minimal ist und hierdurch die Unterscheidbarkeit zwischen intakten und nichtintakten Bereichen optimiert wird (7. Schritt),
dann werden die n (10) besten Repräsentationen hinsichtlich des Kriteriums der fehlklassifizierten Bereiche (der Anzahl von fehlklassifizierten Pixel) bestimmt (8. Schritt) und
sämtliche Kombinationsmöglichkeiten dieser n besten Repräsentationen so gebildet, dass für jede Kombination jedem Pixel ein Vektor zugeordnet wird, deren Koordinaten die zum Pixel gehörigen, mit Mittelwert und Streuung normierten Koeffizienten der jeweiligen Repräsentation enthalten,
wodurch Mengen von Merkmalsvektoren zugeordneter Pixel (Punktwolken) gebildet werden, die als Koordinaten die Koeffizienten von Einzelrepräsentationen aufweisen und die einer Clusteranalyse unterzogen werden, bei der zwei Cluster mit jeweiligem Clusterschwerpunkt i. O. (C₁) und Clusterschwerpunkt n. i. O. (C₂) ermittelt werden, wobei der Abstand jedes Vektors zu dem Clusterschwerpunkt i. O. (C₁) und zu dem Clusterschwerpunkt n. i. O. (C₂) die fusionierte Repräsentation des Thermografiefilms darstellt, die für alle Kombinationsmöglichkeiten analog zu den Einzelrepräsentationen mittels der Anzahl fehlklassifizierter Pixel bewertet wird, und
wobei durch Bilden einer Rangfolge der Einzelrepräsentationen und der fusionierten Repräsentationen entsprechend der fehlklassifizierten Fläche die optimale Repräsentation erhalten wird (9. Schritt) und das Ergebnis im Sinne eines auf den Thermografiefilm der Fügeverbindungen angewandten Algorithmus die Angabe der zu fusionierenden Einzelrepräsentationen und den Schwellwert für die Größe D = l₁ – l₂ (Differenz der Euclidischen Abstände l₁ und l₂ zu dem Schwerpunkt i. O. (C₁) und zu dem Schwerpunkt n. i. O. (C₂) für jedes Pixel) beinhaltet (10. Schritt), und insofern Repräsentationen aus HKA und NMF zu diesen Einzelrepräsentationen gehören, ebenfalls die entsprechenden Analysefunktionen im Algorithmus verwendet werden, und
anschließend an die Lernphase (Kalibrierung) (1. Schritt bis 10. Schritt) wird in einer automatischen Anwendungsphase eine bisher unklassifizierte Probe gewählt (11. Schritt) und analog zur impulsthermografischen Prüfung der Lernphase (Kalibrierung) impulsthermografisch geprüft und dabei ein Thermografiefilm dieser Probe erstellt (12. Schritt), aus dem die zuvor (10. Schritt) ermittelten Repräsentationen berechnet und zu Vektoren (entsprechend 9. Schritt) verbunden werden (13. Schritt), worauf jeder einzelne Pixel dieser optimalen Repräsentation mit Hilfe des ermittelten Schwellwertes (10. Schritt) als i. O. oder n. i. O. klassifiziert wird (13. Schritt), und sich somit die örtlich klassifizierte Fügeprobe ergibt (14. Schritt).
Die 10 besten Repräsentationen werden auf Basis der fehlklassifizierten Fläche ermittelt und mittels Clusteranalyse verbunden.
Vorzugsweise erfolgt die Bestimmung aller n² – 1 fusionierten Repräsentationen sowie des zugehörigen Schwerpunktes i. O. (C₁) und des zugehörigen Schwerpunktes n. i. O. (C₂) mittels an sich bekanntem k-means Algorthmus,
wobei zur Bewertung jeder fusionierten Repräsentation für jeden Pixel die Euclidischen Abstände l₁ und l₂ zu dem Schwerpunkten i. O. (C₁) bzw. zu dem Schwerpunkt n. i. O. (C₂) ermittelt werden,
dann durch Substrahieren der beiden Abstände l₁ und l₂ eine Größe D = l₁ – l₂ gebildet wird, die negativ ist, wenn das jeweilige Pixel näher zum Schwerpunkt i. O. (C₁) ist, und positiv ist, wenn das jeweilige Pixel näher zu dem Schwerpunkt n. i. O. (C₂) ist,
für jede fusionierte Repräsentation der Schwellwert bestimmt wird und dann gezählt wird, wie viele Pixel als intakt oder fehlerbehaftet gelten und so die fehlklassifizierte Fläche bestimmt wird,
anschließend, wenn das für alle n² – 1 Repräsentationen erfolgt ist, ein Rangfolge aller fusionierten und Einzel-Repräsentationen anhand der fehlklassifizierten Fläche erstellt wird, und
dann der erhaltene optimale Schwellwert für die Größe D = l₁ – l₂ auf die optimale Repräsentation des von der Thermografiekamera erfassten Thermografiefilms der Fügeprobe angewendet wird, wobei sich für jedes Pixel deren Repräsentation das Ergebnis „Klebstoff vorhanden” oder „Klebstoff nicht vorhanden” automatisch ergibt.
Bevorzugt werden mehrere Referenzen gleichzeitig zur Ermittlung der zu fusionierenden Repräsentationen und des Schwellwertes für die Größe D = l₁ – l₂ verarbeitet.
Weiterhin kann eine Kombination der Lernphase und der Anwendungsphase und damit die Integration von HKA und NMF erfolgen, indem neben einer oder mehreren Referenzen auch ein unbewerteter Thermografiefilm mitverarbeitet wird, der während der Auswertung dem nicht zu bewertenden Bereich zugeordnet wird und somit dennoch in die Berechnung der Analysefunktionen von HKA und NMF eingeht, jedoch nicht in die Ermittlung des optimalen Schwellwertes für jede Einzelrepräsentation oder den Schwellwert für die Größe D = l₁ – l₂ und anschließende Klassifikation jedes Pixels des unbewerteten Thermografiefilms auf der Basis der gefundenen Fusionsrepräsentationen und des Schwellwertes.
Vorzugsweise wird das Bild des Horizontalschliffs der Fügeprobe (1. Schritt) mit einer beliebigen Kamera aufgenommen, die eine andere Auflösung als die Thermografiekamera sowie einen anderen Abstand und eine andere Ausrichtung zum Horizontalschliff der Fügeprobe als die Thermografiekamera aufweist, wobei eine algorithmische Ausrichtung des Bildes der zerstörten Fügeprobe zum Thermografiefilm sowie die Umrechnung dieses Bildes in den Ausschnitt und die Auflösung des Thermografiefilms erfolgen.
Mit dem erfindungsgemäßen Verfahren ist mit Hilfe der ultraschallangeregten Thermografie und einer Auswertung der erhaltenen Thermografiefilme mittels FFT, HKA und NMF bei anschließender Fusion der erzeugten thermografischen Repräsentationen gewährleistet, zerstörungsfrei Bereiche fehlenden Klebstoffs automatisch insbesondere in Großserie zu detektieren.
Die Erfindung wird nun unter Bezug auf die Zeichnungen erläutert. In diesen sind:
1a ein schematischer Versuchsaufbau für ultraschallangeregte Thermografie einer Probe aus zwei Stahlblechen,
1b eine Aufsicht der Probe des Versuchsaufbaus gemäß 1a,
2a bis 2d Darstellungen zur Auswertung des Thermografiefilms durch Vergleich von Originaldaten und der Phase des ersten Fourier-Koeffizienten,
3a bis 3d Diagramme, aus denen Ergebnisbilder und Zeitverläufe zu Vorverarbeitungsmethoden des Thermografiefilms hervorgehen,
4a bis 4d Phasen- und Amplitudenbilder einer FFT auf der Basis desselben Thermografiefilms jedoch unterschiedlicher Vorverarbeitungen,
5a bis 5d Ergebnisbilder und Analysefunktionen des Thermografiefilms zum zweiten Koeffizienten der HKA nach unterschiedlicher Vorverarbeitung,
6a bis 6d Ergebnisbilder und Analysefunktionen des Thermografiefilms zum zweiten Koeffizienten der NMF nach unterschiedlicher Vorverarbeitung,
7a eine Fotografie der zerstörten Probe,
7b ein Binärbild aus der Fotografie gemäß 7a,
7c ein Binärbild aus der Fotografie gemäß 8a inklusiv Regions of Interest (ROIs),
7d oben eine Repräsentation des Thermografiefilms mit Referenzklassifizierung und unten das Binärbild nach Berechnung des optimalen Schwellwertes,
8a bis 8c Darstellungen von Analysefunktionenzum 3. Koeffizienten der HKA angewendet auf T_ij(t_m) von drei Thermografiefilmen,
8d und 8e Darstellungen von Analysefunktionen, die sich bei der Zusammenführung der Thermografiefilme der Proben 1 und 2 bzw. 1 und 3 ergeben,
9 ein Diagramm zur Bewertung von Repräsentationen, wobei die Amplitude vom 2. Koeffizienten der FFT auf zeitlich normierten Daten und die Abszisse von der Amplitude des 1. Koeffizienten der FFT auf zeitlich normierten Daten gebildet sind,
10 eine Darstellung der Klassifikation der Klebenaht anhand einzelner Repräsentationen des Thermografiefilms,
11 eine Darstellung des Ergebnisses der Clusteranalyse,
12a bis 12c Darstellungen zur Gegenüberstellung von Klassifikationen,
13 eine der 9 ähnliche Darstellung der fusionierten 1. und 2. HKA von T_ij ^Δ(t_m) für einen Ausschnitt der Repräsentationen als Mengen der Merkmalsvektoren zugeordneter Pixel (Punktwolke),
14a ein Diagramm zur Darstellung der Trennung der beiden Bereiche (Intakter Bereich; Bereich „Fehlender Klebstoff”) mittels dk-means-Algorithmus,
14b eine prinzipielle Darstellung zur Berechnung der Größe D,
15 ein Flussdiagramm, aus dem eine erste Ausführungsform des erfindungsgemäßen Verfahrens hervorgeht und
16 ein Flussdiagramm, aus dem eine zweite Ausführungsform des erfindungsgemäßen Verfahrens hervorgeht.
1a zeigt schematisch einen Versuchsaufbau für ultraschallangeregte Thermografie, wobei im Schnitt eine Seitenansicht einer Probe 1 zu sehen ist, die mittels eines Ultraschallkonverters 2 einer Ultraschallanregung ausgesetzt wird.
Die Probe 1 besteht, wie 1b verdeutlicht, aus zwei sich überlappenden Stahlblechen 3, wobei die Überlappung der Fügepartner 15 mm beträgt. Das Material der beiden Stahlbleche ist H320LA und die Abmessungen letzterer betragen: 200 mm × 50 mm × 1 mm.
Die beiden sich überlappenden Stahlbleche 3 sind im Überlappungsbereich an drei Punkten 4 verschweißt und zugleich mittels eines Epoxydklebstoffes miteinander verklebt, wobei die Breite des Klebstreifens bis zu 15 mm variabel ist. Auf die zur Anregung entgegensetzte Oberfläche der Probe 1 ist eine Thermografiekamera 5 ausgerichtet, die eine Aufnahmefrequenz von 56 Hz, eine Integrationszeit von 3 ms und eine Aufnahmedauer von 3,1 sec aufweist. Dies entspricht 176 Bildern mit einer Auflösung: 384×56 Pixeln bei einer sichtbaren Breite von 29 mm.
Zur Auswertung der Thermografiesequenzen werden Phasenbilder mittels Fourieranalyse erzeugt, die eine deutlich stärkere Zeichnung von Defekten besitzen, als dies in den Originaldaten der Fall ist.
Die 2a bis 2d zeigen Darstellungen zur Auswertung des Thermografiefilms durch Vergleich von Originaldaten und der Phase des ersten Fourier-Koeffizienten.
Um Bauteile für eine automatisierte Qualitätssicherung anhand derartiger Repräsentationen hinsichtlich intakt oder fehlerhaft zu klassifizieren, sind entweder Bildverarbeitungsansätze notwendig oder Repräsentationen sind zu ermitteln, die eine noch eindeutigere Zeichnung von Fehlern besitzen.
In diesem Zusammenhang wird auf die 3a bis 3d verwiesen, aus denen zu verschiedenen Vorverarbeitungsmethoden (Originalfilm, Differenzfilm, zeitlich normierter Film, örtlich normierter Film) des Thermografiefilms Ergebnisbilder und Zeitverläufe hervorgehen.
Bei den Repräsentationen auf Basis der Zeit sind neben der Darstellung der Originaldaten auf Basis der Zeit drei weitere Darstellungsmöglichkeiten des Thermografiefilms über die Zeit gegeben, und zwar werden aus dem von der Thermografiekamera erfassten Thermografiefilm der Fügeprobe rechnermäßig normierte Filme auf der Basis der Zeit als Differenzfilm, zeitlich normierter Film und örtlich normierter Film erzeugt.
Bei der Repräsentation Differenz zu Bild eins wird von jedem Bild des Thermografiefilms das erste Bild abgezogen. Auf diese Weise ist der Einfluss von Emissionsunterschieden sowie von Reflexionen zu verringern.
Bei der Erzeugung des zeitlich normierten Films (Repräsentation Normierung über die Zeit) werden die Temperaturverläufe, bei nicht kalibrierten Aufnahmen die Verläufe der digitalen Level, zu allen Pixeln auf eine Standardnormalverteilung normiert. Hierzu wird für jeden Zeitverlauf x_ij(t) sein Mittelwert μ_ij und seine Standardabweichung σ_ij berechnet und die normierten Ergebnisse
x zn / ij (t)
werden folgendermaßen berechnet:
Auf diese Weise wird wie beim Differenzfilm der Einfluss von Emissionsunterschieden auf der Fügeprobe verringert, da der zeitlich normierte Film keine Amplitudeninformation mehr besitzt. Sämtliche Zeitverläufe haben nun einen Mittelwert
μ ~_ij = 0
und eine Standardabweichung
σ ~_ij = 1
Speziell bei Zeitverläufen mit geringem Temperaturhub führt dies zur Verstärkung des Rauschens, bei gleichbleibendem Signal-Rauschabstand, wie aus den 3a bis 3d ersichtlich ist.
Analog zu der zuvor beschriebenen Vorgehensweise wird bei der Repräsentation Normierung über den Ort jedes Bild des Thermografiefilms auf eine Standardnormalverteilung normiert. Die Zeitverläufe
x on / ij (t)
weisen nun unterschiedliche Mittelwerte und Streuungen auf, dafür gilt jedoch für jedes Bild des Thermografiefilms:
Mittelwert
μ ~(t) = 0
und Standardabweichung
Besonders bei Thermografiefilmen mit sehr geringen örtlichen Unterschieden im Temperaturhub kann auf diese Weise eine Verstärkung dieser Unterschiede erzielt werden, wie aus 3d zu ersehen ist.
Was die spektralen Repräsentationen anbetrifft, so ist die Fourieranalyse (FFT) auf sämtliche Repräsentationen im Zeitbereich anzuwenden. Die Ergebnisse dieser Auswertungen des Thermografiefilms können als Phasen- und Amplitudenbilder betrachtet werden. Dabei ist zu beachten, dass Abweichungen von den Ergebnissen der FFT angewendet auf den Originalfilm nur bei folgenden Repräsentationen zu erwarten sind:

– FFT beim Differenzfilm: Amplitude des 0. Koeffizienten (konstanter Anteil)
– FFT bei zeitlich normierten Daten: Amplitude sämtlicher Koeffizienten
– FFT bei örtlich normierten Daten: Amplitude und Phase sämtlicher Koeffizienten

In diesem Zusammenhang wird auf die 4a bis 4d verwiesen, aus denen Beispiele für Phasen- und Amplitudenbilder einer FFT auf der Basis desselben Thermografiefilms bei unterschiedlicher Vorverarbeitung (original Daten, zeitlich normierte Daten, örtlich normierte Daten) hervorgehen.
Wie die Fourieranalyse (FFT) kann auch die Hauptkomponentenanalyse (HKA) auf sämtliche Repräsentationen angewendet werden. Im Gegensatz zur FFT werden die Analysefunktionen bei der HKA nicht vorgegeben, sondern als Eigenvektoren der Kovarianzmatrix des Thermografiefilms berechnet. Aus den 5a bis 5d gehen beispielhaft Ergebnisbilder und Analysefunktionenzum zweiten Koeffizienten der HKA bei gleichem Thermografiefilm hervor, jedoch bei unterschiedlichen Vorverarbeitungen (HKA, Originaldaten, K2; HKA, Differenzfilm, K1; HKA, zeitlich normierter Film, K1, HKA, örtlich normierter Film, K2).
Bei der Erzeugung von Repräsentationen auf der Basis der NMF berechnet diese ähnlich wie die HKA ihre Analysefunktionen aus dem Thermografiefilm, jedoch nicht durch die Lösung eines Eigenwertproblems, sondern durch die Lösung eines nichtlinearen Optimierungsproblems. NMF ist ausschließlich auf Matrizen mit positiven Koordinaten anwendbar. Daher ist es notwendig, die zu analysierende Repräsentation gegebenenfalls durch Offsetierung der Werte des gesamten Thermografiefilms anzupassen. Mittels NMF werden positive Ansatzfunktionen bestimmt, die als positiv gewichtete Summe die Zeitverläufe zu allen Pixeln optimal nähern.
Es handelt sich somit hierbei um ein geschachteltes Optimierungsproblem zur Bestimmung geeigneter Ansatzfunktionen, für die zudem geeignete Gewichte gesucht werden. Da die zu minimierende Qualitätsfunktion nichtlinear ist und in der Regel mehrere Minima besitzt, ist davon auszugehen, dass nicht das globale, sondern ein lokales Optimum gefunden wird.
Üblicherweise kann der analysierte Datensatz aus den Koeffizienten und den Ansatzfunktionen nicht exakt rekonstruiert werden, selbst wenn die gleiche Anzahl von Ansatzfunktionen wie bei FFT oder HAK gewählt wird.
Die 6a bis 6d zeigen beispielhaft Ergebnisbilder und Analysefunktionen zum zweiten Koeffizienten der NMF bei gleichem Film, jedoch für unterschiedliche Vorverarbeitungen, und zwar 6a NMF, O-Daten, K1; 6b NMF, Differenzfilm, K2; 4c NMF, zeitlich normierter Film, K1; NMF, örtlich normierter Film, K2, 6d.
FFT, HKA und NMF werden auf sämtliche Repräsentationen auf Basis der Zeit angewendet. Bei diesen handelt es sich um die folgenden:
Originalfilm: T_ij(t_m),
Differenz zum ersten Bild des Films:
T Δ / ij (t_m) = T_ij(t_m) – T_ij(t₁),
Normierung der Zeitverläufe mit Mittelwert und Streuung:
Normierung der einzelnen Bilder mit Mittelwert und Streuung:
In obigen Formeln sind:
T eine Temperatur bzw. Strahlungsintensität, gemessen als digitaler Level (DL).
i und j Laufindices der Position des betrachteten Pixels.
m der Laufindex des Zeit
T ~_ij der Mittelwert des Zeitverlaufs zu Pixel i j
T ~(t_m) der Mittelwert eines Bildes zum Zeitpunkt t_m
σ_ij und σ(t_m) die entsprechenden Streuungen
Auf diese Weise ergeben sich bei einem Film mit 176 Bildern insgesamt 2.124 teils redundante Repräsentationen des Thermografiefilms, und zwar bei vier Repräsentationen auf der Basis der Zeit jeweils 176 Thermogramme, darauf angewendet die FFT – jeweils 176 Phasen- und Amplitudenbilder, die HAK – jeweils 176 Koeffizientenbilder und die NMF – jeweils drei Koeffizientenbilder. Bei dieser Vielzahl teils redundanter Repräsentationen ist eine Methode notwendig, die gesuchten Fehlstellen zu detektieren, zu bewerten und auf der Basis der Besten zu neuen aussagekräftigeren Repräsentationen zu verbinden.
Um bei dieser Vielzahl der Repräsentationen diese hinsichtlich ihrer Eignung, die gesuchten Fehlstellen zu detektieren, zu bewerten und auf der Basis der besten Repräsentationen diese zu neuen, aussagekräftigeren Repräsentationen zu verbinden, wird erfindungsgemäß ein Fusionsverfahren eingesetzt, das auf einer Clusteranalyse auf Pixelebene basiert und bei dem ein Algorithmus Anwendung findet, dem eine Fusion der informationstragenden Repräsentationen zugrundeliegt. Welche diese sind, wird an einer Referenzprobe gelernt, bei der die optimale Klassifikation durch eine zerstörende Prüfung mittels Horizontalschliff bekannt ist.
Aus einer Referenzprobe, bei der die optimale Klassifikation z. B. durch eine zerstörende Prüfung mittels Horizontalschliff in Erfahrung gebracht wird, werden die informationstragenden Repräsentationen ermittelt.
So wird als zerstörend zu prüfende Referenz mechanisch ein Horizontalschliff derselben Fügeprobe hergestellt, aus dem die gesuchten Fehler in der Fügeprobe optisch zu erfassen sind. Anhand der zerstörten Probe werden die thermisch gesuchten fehlerbehafteten und fehlerfreien Bereiche identifiziert und als Referenz für die Klassifizierung in Form einer binären Bildes zur Verfügung gestellt. Um sicher zu stellen, dass sowohl der gleiche Ausschnitt erfasst wird, als auch die gleiche Auflösung des Bildes vorliegt, wird bei reproduzierter Einspannung des Horizontalschliffs und reproduzierter Positionierung der Thermografiekamera im identischen Versuchsaufbau mittels der Thermografiekamera der identische Ausschnitt der zerstörten Fügeprobe bei gleicher örtliche Auflösung erstellt. Anhand dieser Aufnahmen lassen sich sog. Region Of Interest (ROIs) definieren und Fehlerklassen zuweisen.
Aus den 7a bis 7c gehen Darstellungen einer Klebeprobe, des daraus abgeleiteten Binärbildes sowie das Binärbild inklusiv sog. ROIs hervor.
So zeigt 7a eine Darstellung der zerstörten Probe bei gleichem Ausschnitt wie im Thermografiefilm, wobei Bereiche mit und ohne Klebstoff, Poren und Schweißpunkte dargestellt sind.
7b zeigt das Binärbild aus der Darstellung gemäß 7a, bei gleicher Auflösung wie im Thermografiefilm.
7c gibt das Binärbild mit den ROIs wieder, und zwar mit den intakten Bereichen und den Bereichen mit fehlendem Klebstoff. Da die Darstellung gegenüber dem Thermografiefilm leicht verschoben und rotiert ist, sparen die ROIs die Übergangsbereiche zwischen fehlerbehafteten und intakten Bereichen aus.
Zur Bewertung jeder thermografischen Repräsentation hinsichtlich ihres Informationsgehaltes findet ein pixelweiser Vergleich mit der zerstörenden Prüfung statt. Zu diesem Zweck wird ein optimaler Schwellwert für die jeweilige Repräsentation ermittelt, so dass die Anzahl falsch klassifizierter Pixel und damit die fehlklassifizierte Fläche minimal wird. Diese Fläche wird für eine Rangfolge sämtlicher Repräsentationen verwendet, anhand der die Auswahl der zu fusionierenden Repräsentationen stattfindet.
7d zeigt oben eine Repräsentation des Thermografiefilms mit Referenzklassifizierung, wobei die schraffierten Bereiche den sog. „Region Of Interest” (ROI) darstellen, in denen Klebstoff vorhanden ist, und die gepunkteten ROIs Bereiche darstellen, in denen kein Klebstoff vorhanden ist.
Aus 7d geht unten ein Binärbild nach Berechnung des optimalen Schwellwertes hervor, wobei die fehlklassifizierte Fläche 8,25% der Fläche innerhalb des ROIs beträgt.
Im Idealfall lassen sich intakte von fehlerbehafteten Bereichen durch eine Schwellwertanalyse von einander trennen. In der Regel kommt es jedoch zu Überlappungen von intakten und fehlerbehafteten Bereichen. Pixel in diesem Überlappungsbereich sind nicht eindeutig klassifizierbar. Es gibt jedoch stets einen Schwellwert, der die Anzahl der fehlklassifizierten Pixel minimiert. Die Anzahl der fehlklassifizierten Pixel entspricht einer Fläche, die wiederum ins Verhältnis zur Gesamtfläche des thermografisch erfassten Bereiches gesetzt werden kann. In 9 sind diese Grenzen für zwei übereinander aufgetragene Repräsentationen diagrammartig dargestellt, wobei die Ordinate von der Amplitude des zweiten Koeffizienten der FFT auf zeitlich normierten Daten und die Abszisse von der Amplitude des ersten Koeffizienten der FFT auf zeitlich normierten Daten gebildet sind. In der Mitte des Diagramms nach 9 sind die Amplituden der jeweiligen Amplituden als Mengen von Merkmalsvektoren zugeordneter Pixel (Punktwolke) dargestellt, die als Koordinaten die Koeffizienten von Einzelrepräsentationen aufweisen, wobei die optimalen Grenzen für beide Repräsentationen wie folgt eingetragen sind: K1: 6,96% fehlklassifizierte Fläche; K2: 18,7% fehlklassifizierte Fläche.
Die minimale fehlklassifizierte Fläche wird für eine Rangfolge sämtlicher Repräsentationen verwendet. Anhand dieser Rangfolge findet die Auswahl der fusionierenden Repräsentationen statt.
Da bei HKA und NFM die Analysefunktionen nicht wie bei der FFT vorgegeben, sondern aus den Repräsentationen auf der Basis der Zeit berechnet werden, können sie sich von Film zu Film unterscheiden, wie aus den 8a bis 8c hervorgeht, die Analysefunktionen zum 3. Koeffizienten der HKA angewendet auf T_ij(t_m) von drei Filmen zeigt. Während die Analysefunktionen für Probe 1 und 2 sehr ähnlich sind, weist die Analysefunktion für die Probe 3 einen deutlichen Unterschied zu den beiden anderen auf.
Die Koeffizientenbilder (Repräsentationen) B_k sind bei den Vorgehensweisen mit den Analysefunktionen A_l und den Repräsentationen des Thermografiefilms auf der Basis der F_kl über die Gleichung B_k = F_klA_l verknüpft. Zur Durchführung von HKA und NMF wird der Thermografiefilm in eine zweidimensionale Darstellung überführt. Aus diesem Grunde besitzt der Thermografiefilm in diesem Fall nur zwei Indices (Pixelnummer und Zeit) und das Bild nur einen Index (Pixelnummer).
Die Koeffizientenbilder – die Repräsentationen – ändern sich somit abhängig von der Analysefunktion von Film zu Film, aus welchem Grund sich auch ihre Position in der zuvor genannten Rangfolge ändern kann. Daher kann die Auswahl der informationstragenden Repräsentationen nicht in einer Vorab-Lernphase getroffen werden, sondern die Auswahl muss für jeden Thermografiefilm erneut entschieden werden. Um dies zu gewährleisten, muss in jeder Auswertung eines Films erneut der Bezug zu Referenz hergestellt werden. Zu diesem Zweck werden HKA und NMF stets auf zwei Filme gleichzeitig angewendet, und zwar auf den zu klassifizierenden Film und auf den Referenzfilm, für den das optimale Klassifikationsergebnis bekannt ist. So kann sichergestellt werden, dass Referenz und zu klassifizierender Film mit den gleichen Analysefunktionen ausgewertet werden. In diesen Zusammenhang wird auf die 8d und 8e verwiesen, die Analysefunktionen zeigen, die sich bei der Zusammenführung der Filme der Proben 1 und 2 bzw. der Proben 1 und 3 ergeben. Die zuvor genannte Rangfolge wird dann anhand des bekannten Klassifikationsziels der Referenz erstell und gilt, da nun die Analysefunktionen für Referenz und zu analysierenden Film übereinstimmen, für beide Filme.
Mit Hilfe dieser Bewertung wurden, wie 10 zeigt, die acht besten Repräsentationen bestimmt. Zur Erzeugung der Binärbilder wurden die optimalen Grenzen als Schwellwerte zur Binärisierung der jeweiligen Repräsentation verwendet. 10 belegt, dass die geringste Fehlklassifikation auf Basis des zweiten Koeffizienten der NMF stattfindet, da die fehlklassifizierte Fläche hier c. 6,69% der Gesamtfläche ausmacht.
Werden die Binärbilder in 10 mit der aus der zerstörten Prüfung gewonnenen Referenz (Ziel) verglichen, so ist zu erkennen, dass die Verfahren zur Erzeugung der Binärbilder unterschiedlich sensibel in unterschiedlichen Bereichen der Probe sind. So sind in der ersten, zweiten und achten Repräsentation gemäß 10 die Schweißpunkte deutlich besser zu erkennen als in den restlichen Repräsentationen, während viele der übrigen Repräsentationen eine deutlich bessere Zeichnung der Umrisse der fehlerfreien Bereiche zulassen und weniger verrauscht sind.
Um eine beliebige Anzahl von Repräsentationen pixelweise zu fusionieren und um aus einer mehrdimensionalen Darstellung eine neue Repräsentation- ein Bild zu ermitteln, wird gemäß der Erfindung wie folgt vorgegangen.
Jedem Pixel ist in jeder Repräsentation ein Wert zugewiesen. Zur Fusion von Repräsentationen werden für jedes Pixel diese Werte als Koordinaten eines Punktes aufgefasst. Auf diese Weise kann der gesamte Film als mehrdimensionale Mengen von Merkmalsvektoren zugeordneter Pixel (Punktwolke), die als Koordinaten Koeffizienten von Einzelrepräsentationen aufweisen, dargestellt werden, wie aus 13 zu ersehen ist, in der die Fusion von zwei Repräsentationen dargestellt ist.
Werden die beiden Repräsentationen isoliert betrachtet und zwar durch Projektion der Mengen von Merkmalsvektoren zugeordneter Pixel (Punktwolken) auf die jeweilige Koordinatenachse, so existieren bei beiden Repräsentationen Überlappungen von Bereichen fehlenden Klebstoffs und Bereichen, in denen Klebstoff vorhanden ist. Erst durch die Fusion beider Repräsentationen können diese Bereiche in zwei Mengen von Merkmalsvektoren zugeordneter Pixel (in zwei Punktwolken) nahezu separiert werden.
Für eine entsprechende Partionierung des Raumes kann der an sich bekannte k-means-Algorithmus angewendet werden. K-means bestimmt bei vorgegebener Anzahl von Clustern deren Schwerpunkte, so dass die Summe der Abstände aller Punkte zum zugehörigen Schwerpunkt minimal ist.
Um eine Verbesserung der Klassifikationsgenauigkeit im Sinne einer Verringerung der fehlklassifizierten Fläche zu bewirken, werden für alle Kombinationen der Repräsentationen Clusteranalysen mit dem an sich bekannten k-means Algorithmus durchgeführt. Bei 8 Analysen ergeben sich 255 Kombinationsmöglichkeiten.
Die 20 besten Ergebnisse der Clusteranalyse sind in 11 wiedergegeben, wobei festzustellen ist, dass durch die Kombination mehrerer Analyseverfahren mittels k-means eine Verringerung der fehlklassifizierten Fläche von 6,69% auf 5,05% zu erzielen ist Aus der nachfolgenden Tabelle I geht eine Zusammenstellung der Repräsentationen hervor, die zu den Ergebnissen der 11 geführt haben.
Tabelle I
Werden bezüglich der diagrammmäßigen Darstellung der Fusion von zwei Repräsentationen zwei als Anzahl der gesuchten Cluster vorgegeben, und zwar: 1. Cluster intakter Bereich, 2. Cluster: Bereich fehlenden Klebstoffs, so ergeben sich als Grenze zwischen diesen Cluster die Orte, die von beiden Schwerpunkten den gleichen Abstand besitzen, und zwar die Ebene, die senkrecht auf der Mitte der Verbindungslinie der beiden Schwerpunkte liegt. Ist die gesuchte Partitionierung bekannt, so kann die Grenze entsprechend verschoben werden. 14a zeigt ein Diagramm, das die Trennung der beiden Bereiche „Intakter Bereich” und „Fehlender Klebstoff” mittels k-means darstellt.
Da sich die Wertebereiche der Repräsentationen stark unterscheiden, wird jedoch vor der Fusion der Repräsentationen eine Normierung auf Mittelwert und Streuung der jeweiligen Repräsentation vorgenommen.

Aus der nachfolgenden Tabelle II gehen die 11 besten Einzelergebnisse der gemeinschaftlich analysierten Thermografiefilme der Referenzprobe P1 und der Probe P2 hervor, die sämtlich für die Referenzprobe P1 eine fehlklassifizierte Fläche von über 8,24% liefern. Das hinsichtlich des Kriteriums „fehlklassifizierte Fläche” beste Klassifikationsergebnis auf Basis einer Fusion ist eine fehlklassifizierte Fläche von 7,17%.

Verfahren	Vorverarbeitung	Fehlklassifizierte Fläche [%]
FFT, Phase, 3. Koeffizient	örtlich normiert	8,25
NMF, 1. Koeffizient	Differenz zu Bild 1	8,48
FFT, Amplitude, 2. Koeffizient	Differenz zu Bild 1	9,1
FFT, Phase, 1. Koeffizient	örtlich normiert	9,86
52. Bild des Filmes	Differerenz zu Bild 1	10,25
NKA, 3. Koeffizient	örtlich normiert	10,35
NKA, 3. Koeffizient	original Daten	10,59
NMF, 3. Koeffizient	zeitlich normiert	12,17
NKA, 1. Koeffizient	Differenz zu Bild 1	12,51
FFT, Phase, 6. Koeffizient	örtlich normiert	13,30
NKA, 3. Koeffizient	Differenz zu Bild 1	14,03

Tabelle II

An diesem Ergebnis sind folgenden Einzelrepräsentationen beteiligt.
Repräsentation auf Basis der Zeit, 52. Bild, Vorverarbeitung : T^Δ(t),
FFT Phase, 1. Koeffizient, Vorverarbeitung: T^on (t),
FFT Phase, 3. Koeffizient, Vorverarbeitung: T^on(t),
HKA, 3. Koeffizient, Vorverarbeitung: T (t),
HKA, 3. Koeffizient, Vorverarbeitung: T^on(t),
NMF, 3. Koeffizient, Vorverarbeitung: T^zn(t).

In der nachfolgenden Tabelle III sind für alle 3 Proben die fehlklassifizierte Fläche bei Fusion der fehlklassifizierten Fläche der besten Einzelrepräsentation gegenübergestellt.

Probe	Fehlklassifizierte Fläche bei Repräsentation aus Fusion/[%]	Fehlklassifizierte Fläche bei bester Einzelrepräsentation: FFT, Phase, 3. Koeffizient, Vorverarbeitung: T^zn(t)/[%]
Probe 1 (Referenz)	7,17	8,25
Probe 2	7,59	9,03
Probe 3	3,36	3,53

Tabelle III

Die Berechnung der für die Fusion verwendeten Größe D = l₁ – l₂ ist in prinzipiell dargestellt.
Aus dem Flussdiagramm der 15 geht eine erste Ausführungsform des erfindungsgemäßen Verfahrens hervor, bei dem zunächst eine Lernphase (Kalibrierung) zur Bestimmung eines Algorithmus und nachfolgend die Anwendung des gewonnenen Algorithmus erfolgt, und zwar mit den folgenden Verfahrensschritten:

1. Auswahl einer Probe
2. Impulsthermografische Prüfung
3. Ermittlung alternativer Repräsentationen auf Basis des Originalfilms, des Differenzfilms, örtlich normiertem Film, zeitlich normiertem Film mittels FFT, HKA, NMF
4. Zerstörende Prüfung der ausgewählten identischen Probemittels Horizontalschliff
5. Thermografische Aufnahme der zerstörten Probe
6. Ermittlung von i. O., n. i. O. und nicht zu berücksichtigender Pixel als Referenzklassifikation,
7. Eingabe der Ergebnisse aus 3. Schritt und 6. Schritt in Komparatorstufe zum pixelweisen Vergleich jeder einzelnen Repräsentation mit der Referenzklassifikation zur Bestimmung eines jeweiligen Schwellwertes, so dass die fehlklassifizierte Fläche minimal ist,
8. Bestimmung der 10 besten Repräsentationen hinsichtlich fehlklassifizierter Fläche,
9. Berechnung der optimalen Repräsentation aus den n besten mittels Clusteranalyse, wobei von allen mittels Clusteranalyse berechneten Repräsentationen diejenige mit der geringsten fehlklassifizierten Fläche die optimale Repräsentation ist,
10. Ergebnis der Lernphase (Kalibrierung) sind bei automatisierter Qualitäts- bzw. Fehlerklassifikation einer Fügeverbindung zu bestimmende Repräsentationen, die einer Fusion mittels Clusteranalyse zuzuführen sind sowie der Schwellwert für die Größe D = l₁ – l₂.
11. Auswahl einer Probe zur Anwendung des gewonnenen Algorithmus aus der Lernphase (Kalibrierung),
12. Impulsthermografische Prüfung der Probe aus 11. Schritt
13a. Berechnung der im 10. Schritt ermittelten Repräsentationen des Thermografiefilms aus 12. Schritt,
13b. Berechnung der optimalen Repräsentation mittels Clusteranalyse entsprechend Algorithmus aus 10. Schritt,
13c. pixelweise Klassifikation der optimalen Repräsentation entsprechend Schwellwert für die Größe D aus 10. Schritt,
14. Ergebnis: örtlich klassifizierte Fügeprobe

Das Flussdiagram gemäß 16 beschreibt eine zweite Ausführungsform des Verfahrens bei kombinierten Ablauf der Lern-(Kalibrier-) und Anwendungsphase.
So wird gemäß 21. Schritt eine erste Probe A ausgewählt und im 22. Schritt einer thermografischen Prüfung unterzogen. Gemäß 23. Schritt wird eine zweite Probe B ausgewählt und im 24. Schritt ebenfalls einer thermografischen Prüfung unterzogen. Die bildweise Verbindung der beiden erhaltenen Thermografiefilme erfolgt dann im 25. Schritt, worauf im 26. Schritt alternative Repräsentationen auf der Basis des Originalfilms, des Differenzfilms sowie der örtlich normierten und der zeitlich normierten Filme mittels FFT, HKA und NMF für beide Filme gemeinschaftlich ermittelt werden.
Die im 21. Schritt ausgewählte erste Probe A wird dann im 27. Schritt einer zerstörenden Prüfung mittels Horizontalschliff ausgesetzt. Hierauf wird im 28. Schritt eine thermografische Aufnahme der zerstörten Probe A erstellt,
Im 29. Schritt werden dann als Referenzklassifikation i. O., n. i. O. und nicht zu berücksichtigen Pixel ermittelt, worauf im 30. Schritt die Vergrößerung des Bildbereiches auf die Größe der im 25. Schritt bildweise verbundenen Thermografiefilme erfolgt und Pixel im Bereich der im 23. Schritt ausgewählten Probe B als nicht zu berücksichtigende Pixel klassifiziert werden.
Die Ergebnisse aus dem 26. Schritt sowie dem 30. Schritt werden im 31. Schritt einer Komparatorstufe eingegeben zum pixelweisen Vergleich jeder einzelnen Repräsentation mit der Referenzklassifikation zur Bestimmung eines jeweiligen Schwellwertes, so dass die fehlklassifizierte Fläche minimal ist.
Im 32. Schritt erfolgt dann die Bestimmung der 10 besten Repräsentationen hinsichtlich der fehlklassifizierten Fläche, und im 33. Schritt wird die optimale Repräsentation aus den n besten Repräsentationen mittels Clusteranalyse ermittelt, wobei von allen mittels Clusteranalyse berechneten Repräsentationen diejenige mit der geringsten fehlklassifizierten Fläche die optimale ist.
Im 34. Schritt erfolgt dann die Klassifikation der im 23. Schritt gewählten Probe durch Anwendung des im 33. Schritt berechneten Schwellwertes auf die Pixel der optimalen Repräsentation im Bereich der im 23. Schritt gewählten Probe, wodurch sich im 36. Schritt die im 23. Schritt ausgewählte Fügeprobe pixelweise klassifiziert ergibt.

Claims

Verfahren zur impulsthermografischen Qualitäts- und Fehlerklassifikation einer Fügeverbindung wie einer Strukturverklebung im Kfz-Karosseriebereich, bei dem ein gefügtes Bauteil (Fügeprobe) impulsthermografisch zerstörungsfrei auf Fehler untersucht wird, indem die Fügeprobe mittels Ultraschall angeregt und der transiente Erwärmungs- und/oder Abkühlungsvorgang in der Fügeprobe mittels einer Thermografiekamera vor, während und nach dessen Anregung thermografisch erfasst wird und mittels eines mit der Thermografiekamera verbundenen Rechners alternative Repräsentationen des Thermografiefilms berechnet werden, und bei dem zudem folgende Verfahrensschritte durchgeführt werden: in einer Lernphase (Kalibrierung) (1. Schritt bis 10. Schritt) werden nach Wahl der Fügeprobe (1. Schritt) aus dem von der Thermografiekamera in einer impulsthermografischen Prüfung erfassten Thermografiefilm (2. Schritt) der gewählten Fügeprobe (1. Schritt) rechnermäßig normierte Filme auf der Basis der Zeit als Differenzfilm, zeitlich normierter Film und örtlich normierter Film erzeugt, dann werden mittels des Rechners zusätzlich zu den Bildern (Repräsentationen) des Originalfilms, des Differenzfilms und den normierten Filme aus den Daten des Originalfilms, des Differenzfilms sowie den Daten der erzeugten normierten Filme mittels FFT, HKA und NMF zusätzliche Repräsentationen des Thermografiefilms erzeugt (3. Schritt), wobei die Anzahl der zusätzlich erzeugten Repräsentationen von der jeweiligen Verfahrensweise abhängt, die erhaltenen alternativen Repräsentationen werden in einer dem Rechner nachgeschalteten Komparatorstufe abgelegt (3. Schritt), anschließend wird als zerstörend geprüfte Referenz mechanisch ein Horizontalschliff derselben Fügeprobe hergestellt, aus dem die gesuchten Fehler in der Fügeprobe optisch zu erfassen sind (4. Schritt), hierauf wird bei reproduzierter Einspannung des Horizontalschliffs und reproduzierter Positionierung der Thermografiekamera im identischen Verfahrensaufbau mittels der Thermografiekamera ein Thermogramm (einzelnes Thermografiebild) des identischen Ausschnitts der zerstörten Fügeprobe bei gleicher örtlicher Auflösung erstellt (5. Schritt), und der Thermografiefilm dieses Ausschnitts in dem der Thermografiekamera nachgeschalteten Rechner registriert, das somit in gleicher Lage und Auflösung vorhandene Thermogramm des Horizontalholzschliffs wird als Referenz für eine pixelweise Klassifizierung des Thermografiefilms verwendet, wobei die Referenz jeden Pixel des Thermografiefilms einer der Klassen i. O., n. i. O. bzw. „nicht zu berücksichtigender Bereich” zugeordnet (6. Schritt), die so erzeugte Referenz wird dann der Komparatorstufe als Referenz zugeführt und mit sämtlichen in dieser bereits abgelegten Repräsentationen des Thermografiefilms der Fügeprobe zur Identifizierung der thermografisch gesuchten fehlerbehafteten und fehlerfreien Bereiche der Repräsentationen verglichen, indem für jede Repräsentation des Thermografiefilms ein Schwellwert zur Unterscheidung der in der Referenz als i. O. bzw. n. i. O. festgelegten Pixel bestimmt wird, wobei die nicht zu berücksichtigenden Pixel in diese Optimierung nicht eingehen, und indem die fehlklassifizierten Pixel gezählt werden und der Schwellwert solange verändert wird, bis die Anzahl der fehlklassifizierten Pixel minimal ist und hierdurch die Unterscheidbarkeit zwischen intakten und nichtintakten Bereichen optimiert wird (7. Schritt), dann werden die n (10) besten Repräsentationen hinsichtlich des Kriteriums der fehlklassifizierten Bereiche (der Anzahl von fehlklassifizierten Pixel) bestimmt (8. Schritt) und sämtliche Kombinationsmöglichkeiten dieser n besten Repräsentationen so gebildet, dass für jede Kombination jedem Pixel ein Vektor zugeordnet wird, deren Koordinaten die zum Pixel gehörigen, mit Mittelwert und Streuung normierten Koeffizienten der jeweiligen Repräsentation enthalten, wobei Mengen von Merkmalsvektoren zugeordneter Pixel (Punktwolken) gebildet werden, die als Koordinaten die Koeffizienten von Einzelrepräsentationen aufweisen und die einer Clusteranalyse unterzogen werden, bei der zwei Cluster mit jeweiligem Clusterschwerpunkt i. O. (C₁) und Clusterschwerpunkt n. i. O. C₂) ermittelt werden, wobei der Abstand jedes Vektors zu dem Clusterschwerpunkt i. O. (C₁) und zu dem Clusterschwerpunkt n. i. O. (C₂) die fusionierte Repräsentation des Thermografiefilms darstellt, die für alle Kombinationsmöglichkeiten analog zu den Einzelrepräsentationen mittels der Anzahl fehlklassifizierter Pixel bewertet wird, und wobei durch Bilden einer Rangfolge der Einzelrepräsentationen und der fusionierten Repräsentationen entsprechend der fehlklassifizierten Fläche die optimale Repräsentation erhalten wird (9. Schritt) und das Ergebnis im Sinne eines auf den Thermografiefilm der Fügeverbindungen angewandten Algorithmus die Angabe der zu fusionierenden Einzelrepräsentationen und den Schwellwert für die Größe D = l₁ – l₂ (Differenz der Euclidischen Abstände l₁; l₂ zu dem Schwerpunkt i. O. (C₁) und zu dem Schwerpunkt n. i. O. (C₂) für jedes Pixel beinhaltet (10. Schritt), und insofern Repräsentationen aus HKA und NMF zu diesen Einzelrepräsentationen gehören, ebenfalls die entsprechenden Analysefunktionen im Algorithmus verwendet werden, und anschließend an die Lernphase (Kalibrierung) (1. Schritt bis 10. Schritt) wird in einer automatischen Anwendungsphase eine bisher unklassifizierte Probe gewählt (11. Schritt) und analog zur impulsthermografischen Prüfung der Lernphase (Kalibrierung) impulsthermografisch geprüft und dabei ein Thermografiefilm dieser Probe erstellt (12. Schritt), aus dem die zuvor (10. Schritt) ermittelten Repräsentationen berechnet und zu Vektoren (entsprechend 9. Schritt) verbunden werden (13. Schritt), worauf jeder einzelne Pixel dieser optimalen Repräsentation mit Hilfe des ermittelten Schwellwertes (10. Schritt) als i. O. oder n. i. O. klassifiziert wird (13. Schritt), und sich somit die Fügeprobe automatisch örtlich klassifiziert ergibt (14. Schritt).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Bestimmung aller n² – 1 fusionierten Repräsentationen sowie des zugehörigen Schwerpunktes i. O. (C₁) und des zugehörigen Schwerpunktes n. i. O. (C₂) mittels an sich bekanntem k-means Algorithmus erfolgt, wobei zur Bewertung jeder fusionierten Repräsentation für jeden Pixel die Euclidischen Abstände l₁ und l₂ zu dem Schwerpunkt i. O. (C₁) bzw. zu dem Schwerpunkt n. i. O. (C₂) ermittelt werden, dann durch Substrahieren der beiden Abstände l₁ und l₂ eine Größe D = l₁ – l₂ gebildet wird, die negativ ist, wenn das jeweilige Pixel näher zum Schwerpunkt i. O. (C₁) ist, und positiv ist, wenn das jeweilige Pixel näher zum Schwerpunkt n. i. O. (C₂) ist, für jede fusionierte Repräsentation der Schwellwert bestimmt wird und dann gezählt wird, wie viele Pixel als intakt oder fehlerbehaftet gelten und so die fehlklassifizierte Fläche bestimmt wird, und anschließend, wenn das für alle n² – 1 Repräsentationen erfolgt ist, eine Rangfolge aller fusionierten und Einzel-Repräsentationen anhand der fehlklassifizierten Fläche erstellt wird und dann der erhaltene optimale Schwellwert für die Größe D = l₁ – l₂ auf die optimale Repräsentation des von der Thermografiekamera erfassten Thermografiefilms der Fügeprobe angewendet wird, wobei sich für jedes Pixel deren Repräsentation das Ergebnis „Klebstoff vorhanden” oder „Klebstoff nicht vorhanden” automatisch ergibt.
Verfahren nach Anspruch 1 und 2, dadurch gekennzeichnet, dass mehrere Referenzen gleichzeitig zur Ermittlung der zu fusionierenden Repräsentationen und des Schwellwertes für die Größe D = l₁ – l₂ verarbeitet werden.
Verfahren nach jedem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass eine Kombination der Lernphase und der Anwendungsphase und damit die Integration von HKA und NMF erfolgen, indem neben einer oder mehreren Referenzen auch ein unbewerteter Thermografiefilm mitverarbeitet wird, der während der Auswertung dem nicht zu bewertenden Bereich zu geordnet wird und somit dennoch in die Berechnung der Analysefunktionen von HKA und NMF eingeht, jedoch nicht in die Ermittlung des optimalen Schwellwertes für jede Einzelrepräsentation oder den Schwellwert für die Größe D = l₁ – l₂ und anschließende Klassifikation jedes Pixels des unbewerteten Thermografiefilms auf der Basis der gefundenen Fusionsrepräsentationen und des Schwellwertes.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass das Bild des Horizontalschliffs der Fügeprobe (1. Schritt) mit einer beliebigen Kamera aufgenommen wird, die eine andere Auflösung als die Thermografiekamera sowie einen anderen Abstand und eine andere Ausrichtung zum Horizontalschliff der Fügeprobe als die Thermografiekamera aufweist, und dass eine algorithmische Ausrichtung des Bildes der zerstörten Fügeprobe zum Thermografiefilm sowie die Umrechnung dieses Bildes in den Ausschnitt und die Auflösung des Thermografiefilms erfolgen.