DE102023107476A1

DE102023107476A1 - Ultraschall-defekterkennung und klassifikationssystem unter verwendung von maschinellem lernen

Info

Publication number: DE102023107476A1
Application number: DE102023107476.8A
Authority: DE
Inventors: John J. Pickerd; Kevin Ryan
Original assignee: Sonix Inc
Current assignee: Sonix Inc
Priority date: 2022-03-28
Filing date: 2023-03-24
Publication date: 2023-09-28
Also published as: JP2023145412A; TW202345103A; KR20230139806A; US20230306578A1

Abstract

In einem automatischen Defekterkennungs- und Klassifizierungssystem greifen eine oder mehrere Computergeräte auf Scandaten zu, die bei einem Ultraschallscan eines Objekts erfasst wurden. Eine erste Eingangsmerkmalskarte, die ein zweidimensionales (2D) Scanbild enthält, wird aus den Scandaten erstellt und in ein erstes tiefes neuronales Netz eingegeben, um eine erste Ausgangsmerkmalskarte zu erzeugen. Eine zweite Eingangsmerkmalskarte, die ein Bild eines fehlerfreien Objekts enthält, wird in ein zweites tiefes neuronales Netz eingegeben, das die gleiche Struktur und die gleichen Gewichtungswerte wie das erste tiefe neuronale Netz hat, um eine zweite Ausgangsmerkmalskarte zu erzeugen. Das gescannte Objekt wird als defekt eingestuft, wenn der Abstand zwischen der ersten und der zweiten Ausgangsmerkmalskarte groß ist. In einem alternativen Ansatz werden das 2D-Scanbild und ein oder mehrere Bilder des fehlerfreien Objekts in verschiedene Kanäle des neuronalen Netzes eingegeben, das mit Farbbildern trainiert wird.

Description

VERWANDTE ANMELDUNGEN
Diese Anmeldung beansprucht die Vorteile der vorläufigen Anmeldung mit der Seriennummer 63/324.340 , die am 28. März 2022 eingereicht wurde und den Titel „Ultrasonic Defect Detection and Classification System using Machine Learning“ TRÄGT, DEREN gesamter Inhalt hiermit durch Bezugnahme aufgenommen wird.
HINTERGRUND
Diese Offenbarung bezieht sich auf das Umfeld der zerstörungsfreien Ultraschallprüfung (NDT; non-destructive testing). Ein mechanisches Positionierungssystem kann einen Ultraschall-Transceiver-Wandler und einen Empfänger-Wandler auf der gegenüberliegenden Seite einer zu testenden Vorrichtung (DUT; device under test) synchron scannen. NDT kann beispielsweise zum Test von Halbleiterwafern, die mehrere Vorrichtungen enthalten können, und von Chipgehäusen eingesetzt werden. Das vom DUT an den Transceiver zurückgesendete Signal ist eine TDR-Wellenform (TDR; time domain reflection), während die vom zweiten Empfänger erfasste Wellenform eine TDT-Wellenform (TDT; time domain transmission) ist. Die Zeitachse beider Wellenformen ist direkt proportional zum Abstand entlang der Z-Achse eines Positionsraums, der das DUT darstellt. Die Empfänger werden entlang des durch die X- und Y-Achse des DUTs definierten Positionsraums abgetastet. Die gescannten Wellenformen werden von einem Erfassungssystem digitalisiert, und ein Bilderstellungs-Block erstellt auf der Grundlage der TDT/TDR-Scandaten ein Fehlerbild des DUTs.
Traditionell werden menschliche Bediener geschult, um die Bilder zu betrachten und Fehler auf dem Wafer oder dem Gehäuse zu erkennen. Für diese Aufgabe ist viel Erfahrung und Schulung erforderlich. Derzeit gibt es Algorithmen, die einige der zu identifizierenden Fehlerarten automatisch erkennen und klassifizieren können. Manchmal sind diese Algorithmen jedoch nicht in der Lage, die Defekte wie erforderlich zu erkennen.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Die beiliegenden Zeichnungen enthalten visuelle Darstellungen, die dazu dienen, verschiedene repräsentative Ausführungsformen ausführlicher zu beschreiben, und die von Fachleuten zum besseren Verständnis der offengelegten repräsentativen Ausführungsformen und ihrer inhärenten Vorteile verwendet werden können. In diesen Zeichnungen bezeichnen gleiche Bezugsziffern entsprechende oder analoge Elemente.

1 ist ein Blockdiagramm eines Ultraschallscanners gemäß verschiedenen repräsentativen Ausführungsformen.
2 ist ein vereinfachtes Blockdiagramm eines Geräts zur Verarbeitung von Scandaten von einem Ultraschall-Scanner, in Übereinstimmung mit verschiedenen repräsentativen Ausführungsformen.
3 ist ein vereinfachtes Blockdiagramm eines Geräts zum Trainieren eines neuronalen Netzes zur Verarbeitung von Scandaten von einem Ultraschallscanner, in Übereinstimmung mit verschiedenen repräsentativen Ausführungsformen.
4 ist ein Blockdiagramm eines Ultraschallsystem zur Erkennung und Klassifizierung von Defekten gemäß weiteren Ausführungsformen der Offenbarung.
5 ist ein vereinfachtes Blockdiagramm einer Vorrichtung zum Trainieren eines Siamesischen Neuronalen Netzes zur Erkennung von Defekten in Objekten, die mit einem Ultraschallscanner abgetastet werden, in Übereinstimmung mit verschiedenen repräsentativen Ausführungsformen.
6 ist ein Flussdiagramm eines computerimplementierten Verfahrens zur Fehlererkennung und -klassifizierung gemäß verschiedenen repräsentativen Ausführungsformen.
7A-7C sind schematische Darstellungen von Eingangsmerkmalskarten gemäß verschiedenen repräsentativen Ausführungsformen.

AUSFÜHRLICHE BESCHREIBUNG
Die verschiedenen hier beschriebenen Geräte und Vorrichtungen bieten Mechanismen zur automatischen Erkennung und Klassifizierung von Fehlern anhand eines gescannten Ultraschallbildes.
Obwohl die vorliegende Offenbarung in vielen verschiedenen Formen ausgeführt werden kann, sind in den Zeichnungen bestimmte Ausführungsformen dargestellt und werden hier im Detail beschrieben, wobei die hier gezeigten und beschriebenen Ausführungsformen als Beispiele für die Prinzipien der vorliegenden Offenbarung zu betrachten sind und nicht dazu dienen, die vorliegende Offenbarung auf die gezeigten und beschriebenen Ausführungsformen zu beschränken. In der nachfolgenden Beschreibung werden gleiche, ähnliche oder korrespondierende Teile in den verschiedenen Ansichten der Zeichnungen mit gleichen Bezugsziffern bezeichnet. Der Einfachheit und Klarheit halber können sich die Bezugsziffern in den Abbildungen wiederholen, um entsprechende oder analoge Elemente zu kennzeichnen.
Ausführungsformen der Offenlegung verwenden im Allgemeinen tiefe neuronale Netze, um die Fähigkeit, Defekte zu finden und zu klassifizieren, zu verbessern. Ein tiefes neuronales Netz, das auch als tiefes lernendes neuronales Netz bezeichnet wird, ist ein Netz, das mehrere Verarbeitungsschichten umfasst. Diese Schichten können Faltungen oder Kreuzkorrelationen zwischen zwischenliegenden Merkmalskarten und relativ kleinen Gewichtskernen durchführen. Im Gegensatz dazu kann eine abschließende Klassifizierung von einer vollständig verknüpften Ausgabeschicht des Netzes durchgeführt werden.
Ein Aspekt einiger Ausführungsformen der Offenlegung umfasst die Verwendung eines neuartigen Ansatzes zum Erstellen eines dreidimensionalen (3D) Bildtensors, der als Eingang für die tiefen neuronalen Netze verwendet wird. 3D-Bildtensoren werden üblicherweise in digitalen Farbbildern verwendet, wo Tensoren zwei räumliche Dimensionen und eine spektrale Dimension haben, die die Rot-, Grün- und Blau- (RGB-) Spektralkomponente der Farbe umfasst. Der 3D-Tensor wird hier manchmal als RGB-Bildtensor bezeichnet, ist jedoch im Allgemeinen nicht auf drei Spektralkomponenten (RGB) beschränkt, sondern kann eine beliebige Anzahl von Spektralkomponenten enthalten. Diese neuartige RGB-Bilddarstellung verfügt auch über eine optionale Diagrammbildkodierung, mit der zusätzliche Parameter in das tiefe Netzwerk eingegeben werden können, um die Klassifizierung zu unterstützen. So kann beispielsweise ein gutes Referenzbild ohne Fehler in den roten (R) Kanal eingefügt werden, ein gescanntes Bild (das vielleicht einen Defekt aufweist) kann in den grünen (G) Kanal eingefügt werden und andere Parameterdaten können in den blauen (B) Kanal als grafische Bilder eingefügt werden, die die Parameterdaten darstellen.
Ein weiterer neuer Aspekt einiger Ausführungsformen der Offenlegung ist die Verwendung eines Siamesischen Neuronalen Netzes (SNN) zum Vergleich des Referenzbildes mit dem gescannten Bild des DUTs, um eine Bestanden/Fehlerhaft-Klassifizierung vorzunehmen.
1 ist ein Blockdiagramm eines Ultraschallscanners 100 gemäß verschiedenen repräsentativen Ausführungsformen. Der Ultraschallscanner 100 umfasst einen Ultraschall-Transceiver 102 und einen Ultraschallempfänger 104. Der Positionsscanner 106 ermöglicht die Positionierung des Transceivers 102 und des Empfängers 104 in Bezug auf ein zu scannendes Objekt 108 (auch als DUT, device under test, bezeichnet).
Der Controller 110 richtet das System ein und synchronisiert die physische Abtastung der Ultraschallwandler 102 und 104 über den Bereich des DUTs 108. Die Abtastung kann in einer X-Y-Ebene parallel zu einer Oberfläche des Objekts erfolgen. Der Controller 110 synchronisiert auch die anderen Elemente des Systems, wie den Impulsgenerator 112 und die Erfassungseinheit 114. Das Erfassungssystem 114 wandelt die von den Ultraschallwandlern während des Abtastvorgangs empfangenen Signale in digitale Zahlen um und speichert sie im Speicher. Wie weiter unten erläutert wird, kann der Controller 110 auch das Looping des Systems durch Teilbilder, die aus dem größeren gescannten Bild abgeleitet werden, erhöhen. Darüber hinaus kann der Controller 110 die Schleifenbildung mehrerer guter Referenzbilder und die Erzeugung von 3D-Tensor-Bildem auf der Grundlage der einzelnen Teilbilder steuern. Das Erfassungssystem 114 gibt digitale Scandaten 116 aus und der Controller 110 gibt Scanpositionsdaten 118 aus. Die Scandaten 116 können Wellenformen der Zeitbereichsübertragung (TDT) und der Zeitbereichsreflexion (TDR) enthalten, die für die Erstellung von Scan- und Referenzbildern verwendet werden. Die Ausbreitungszeit in diesen Wellenformen ist direkt proportional zum Abstand der Z-Achse im XYZ-Positionsdatenraum.
Die Scandaten 116 und die Scanpositionsdaten 118 werden an den Datenprozessor 120 weitergeleitet, der so ausgebildet ist, dass er auf der Grundlage der Scandaten Defekte im Objekt erkennt und optional klassifiziert. Der Datenprozessor 120 kann gespeicherte Daten verwenden, z. B. Referenzbilder, DUT-Eigenschaften und Gewichtungswerte des neuronalen Netzes, die in der Speichereinheit 122 gespeichert sind. Die Benutzerschnittstelle 124 kann zur Anzeige von Bildern und für andere Benutzerinteraktionen verwendet werden. Der Datenprozessor 120 kann Rückmeldungen an den Controller 110 geben, wie durch den gestrichelten Pfeil 126 angezeigt. So kann der Datenprozessor 120 eine Ausgabe an den Controller 110, den Speicher 122 und/oder die Benutzerschnittstelle 124 liefern. Der Datenprozessor 120 kann ein allgemeiner programmierter Computerprozessor, ein kundenspezifischer Prozessor oder eine Kombination davon sein. Der Datenprozessor 120 kann Beschleunigerhardware zur effizienten Verarbeitung von Berechnungen des neuronalen Netzes enthalten.
2 ist ein funktionelles Blockdiagramm eines Geräts 200 zur Verarbeitung von Scandaten von einem Ultraschallscanner, in Übereinstimmung mit verschiedenen repräsentativen Ausführungsformen.Das Gerät 200 kann beispielsweise einen Datenprozessor 120 und einen Speicher 122 umfassen, wie in 1 dargestellt. Das Gerät kann in den Scanner integriert werden und zur automatischen Erkennung und Klassifizierung von Vorrichtungen während der Produktion verwendet werden. Das Gerät kann mit einem oder mehreren Datenprozessoren und einem Speicher implementiert werden.
Der Bildersteller 202 empfängt Scandaten 116 von einem Ultraschallscanner und erstellt daraus ein Bild des DUTs. Die Scandaten können die digitalisierten TDR/TDT-Wellenformdaten enthalten. Wie dem Fachmann klar sein wird, können verschiedene Methoden verwendet werden. Beispielsweise können die TDT- und/oder TDT-Wellenformen direkt in ein hyper-spektrales Bildformat abgebildet werden, wobei jeder Farbkanal in einer Farbebene eine Abtastposition der Wellenform entlang der Z-Achse des DUTs-Positionsraums oder einen Bereich von Positionen der Wellenform entlang der Z-Achse darstellt. Das resultierende 3D-Bild ist nicht die normale Bildansicht, die ein Mensch sehen würde, sondern eine andere Vektorraumdarstellung des DUTs. Mit diesem Ansatz lässt sich eine weitaus höhere Auflösung der Defektdarstellung entlang der Z-Achse erreichen. Das hyper-spektrale Bild kann dann als Eingang für die tiefen neuronalen Netze verwendet werden.
Der Teilbildextraktionsblock 204 empfängt Scanpositionsdaten 118 von dem Controller des Ultraschallscanners. Dies kann in Form eines Indexes vom Controller erfolgen, der angibt, aus welchem Teil des großen Bildes ein Teilbild 206 zu extrahieren ist. Bei einem Wafer mit vielen Wiederholungen einer Schaltung mag das Teilbild beispielsweise nur eine Schaltung enthalten. Im Allgemeinen kann ein Teilbild jedoch das gesamte oder einen Teil des gescannten Bildes umfassen. In einer Ausführungsform erfolgt die Auswahl von Teilbildern über eine Benutzerschnittstelle und die Interaktion eines Benutzers, wenn das System für das Training eingerichtet ist.
Das Referenzbild-Array 208 kann ein gutes Referenzbild 210 für jede Teilbildposition enthalten. Das heißt, ein Bild einer Vorrichtung, von dem bekannt ist, dass es gut (fehlerfrei) ist. Zusätzliche Beispiele für ein gutes Referenzbild für jedes Teilbild können ebenfalls gespeichert werden. Diese können in einem der ersten Schritte vor dem Training oder dem Betrieb des Systems erfasst und gespeichert werden. Mehrere Referenzbilder können mit jedem Teilbild verwendet werden, um mehrere zusätzliche Eingänge für jedes Teilbild zu erzeugen, um mehr Trainingsdaten zu generieren.
Der Diagrambilder-Erstellungs-Block 212 ist ein optionaler Block, der in manchen Situationen verwendet werden kann, um andere Daten als Eingang für das tiefe neuronale Netz bereitzustellen. So kann der Diagrambilder-Erstellungs-Block 212 beispielsweise Parameter wie die Temperatur oder die Versionsnummern der Teile oder andere Parameter empfangen, die bei Bedarf zur Klassifizierung beitragen können. Die Eingangsparameter werden in Diagramme umgewandelt und dann in ein Bild eingefügt. Mehrere Parameterdiagramme 214 können in ein einziges Bild eingefügt werden. Das Teilbild 206, das Referenzbild 210 und die Parameterdiagramme 214 werden im Eingangskartenersteller 216 kombiniert, um eine Eingangsmerkmalskarte 218 für das tiefe neuronale Netz 220 zu erzeugen. Bei dem tiefen neuronalen Netz 220 kann es sich beispielsweise um ein computerimplementiertes neuronales Netz handeln, das allgemeine oder benutzerdefinierte Prozessoren oder eine Kombination davon umfassen kann.
In einer Ausführungsform ist die Eingangsmerkmalskarte ein RGB-Bildtensor mit roten (R), grünen (G) und blauen (B) Kanälen. RGB-Bildtensoren werden üblicherweise zum Speichern von Farbbildern verwendet, aber in der vorliegenden Anwendung entsprechen die Kanäle nicht den sichtbaren Farben. Es gibt viele Möglichkeiten, wie die Parameterdiagramme 214 in die RGB-Kanäle des Bildtensors integriert werden können. Eine Möglichkeit wäre, einen bestimmten Farbkanal, z. B. den blauen (B) Kanal, nur für Diagrammbilder zu verwenden. Bei der Verwendung von 3D-Kreuzkorrelationsfiltern werden jedoch das Referenzbild und das Fehlerbild im Lernprozess korreliert. Dies führt zu Interferenzen zwischen den Diagrammdaten des blauen Kanals und den anderen beiden Kanälen. Ein alternativer Ansatz sieht vor, dass die Parameterdiagramme in dasselbe Bild wie das Referenzbild und das Defektbild eingefügt werden. Die Diagramme können außerhalb des gescannten Bildbereichs platziert werden, so dass Kreuzkorrelationsfilter zwischen den Ebenen die Diagrammdaten nicht mit den Bilddaten kombinieren.
Der Eingangskartenersteller 216 platziert das rohe DUT-Teilbild in einem Kanal und eines der guten Referenzbilder für dieses Teilbild in einem zweiten Kanal. Optional wird ein zweites gutes Bild und/oder ein Parameterdiagramm-Bild in einem dritten Kanal platziert. Die Berechnung der Differenz zwischen dem DUT-Teilbild und einem „Gutbild“ ist nicht erforderlich. Es wird darauf hingewiesen, dass es mehrere Referenz-Gutbilder für jede Teilbildposition geben kann. Daher können für jedes Teilbild mehrere RGB-Tensorbilder erstellt werden, die als zusätzliche Eingabebeispiele für das Training des Netzes dienen. Die Parameterdiagramm-Bilder können außerhalb der Grenzen des DUT-Bildes und des Referenzbildes in das Gesamtbild integriert werden, damit die Korrelationsfilter die Bilddaten nicht mit den Diagrammdaten überlappen.
Optional können die Eingangsmerkmalskarten für eine spätere Analyse oder zur Verwendung als Eingang beim Training des tiefen neuronalen Netzes gespeichert werden.
Eine Eingangsmerkmalskarte, wie z. B. ein RGB-Bild-Tensor, wird in das tiefe neuronale Netz 220 eingegeben, um eine Ausgabe 222 zu erzeugen, die angibt, ob das DUT einen Defekt aufweist und, falls ja, welche Klasse von Defekt. Das tiefe neuronale Netz 220 verarbeitet die eingegebene Merkmalskarte unter Verwendung eines Satzes von Gewichtungswerten 224. Einige dieser Gewichtungswerte können von einer anderen Anwendung kopiert werden, wie weiter unten beschrieben wird. Alternativ können die Gewichtungswerte auch durch einen Trainingsprozess ausgewählt werden. Das tiefe neuronale Netz 220 kann seriell implementiert werden, indem logische Rechenschaltungen verwendet werden, bei denen eine Eingangsmerkmalskarte mit Gewichtungswerten kombiniert wird, die aus einem computerlesbaren Speicher gelesen werden. Alternativ können die Gewichtungswerte als Eigenschaften des Netzes selbst realisiert werden, wie z. B. Leitwerte von Widerstandselementen in einem elektrischen Schaltkreis.
3 ist ein funktionelles Blockdiagramm eines Geräts 300 zum Trainieren eines neuronalen Netzes zur Verarbeitung von Scandaten von einem Ultraschallscanner, in Übereinstimmung mit verschiedenen repräsentativen Ausführungsformen. Wie oben unter Bezugnahme auf 2 beschrieben, wird eine Eingangsmerkmalskarte 218 von einem Eingangskartenersteller 216 aus einem Referenzbild 210, einem Scanbild 206 und optional aus Parameterdiagramm-Bildern 214 erzeugt. Diese Bilder können während eines Scanvorgangs erzeugt oder aus gespeicherten Trainingsdaten geladen werden. Bei den gespeicherten Trainingsdaten kann es sich um gescannte Bilder oder synthetische Bilder handeln. Der automatisierte Klassifikator 302 kann zur Kennzeichnung von Defekten in den Bildern 206 verwendet werden. Alternativ oder zusätzlich kann auch eine manuelle Klassifizierung verwendet werden, bei der ein Benutzer die Klassifizierung der für das Training zu verwendenden Bilder vornimmt. Die Verwendung einer automatisierten Klassifizierung ermöglicht jedoch eine stärkere Automatisierung des Trainingsprozesses und reduziert den Umfang der manuellen Kennzeichnung, die ein Benutzer durchführen müsste, um die Trainingsdaten zu erhalten. Vorhandene automatisierte Werkzeuge und Grundbausteine können verwendet werden, die es dem Benutzer ermöglichen, die Bereiche auf seinen kundenspezifischen Wafern und Gehäusen zu definieren, die beobachtet werden müssen. Die Kennzeichnungen bilden zusammen mit zusätzlichen Informationen über das gescannte Objekt oder den Defekt (z. B. Position oder Ausmaß des Defekts) die Metadaten 304. Die Eingänge für den Klassifikator 302 sind ein DUT-Teilbild 206 und ein Referenzteilbild 210. Die Ausgabe des Klassifikators 302 ist ein Satz von Metadaten 304, der eine Bestanden/Fehlerhaft-Anzeige liefert und im Falle eines Fehlers eine Klassifizierung des Fehlers oder Defekts liefert. Der Klassifikator wird normalerweise nur während des Trainings des neuronalen Netzes 220 ausgeführt. Er kann jedoch auch ausgeführt werden, wenn der Benutzer einen fehlerhaften Teil erneut untersuchen oder zusätzliche Daten sammeln muss, um das Training des Netzwerks regelmäßig zu aktualisieren.
Die Metadaten 304, die die Ergebnisse der Klassifizierungsalgorithmen speichern, können in einem Array gespeichert werden. Jeder Index dieses Arrays von Metadatenstrukturen ist mit einem entsprechenden Index des entsprechenden RGB-Bildtensors in dem Tensor-Array verbunden. Somit entspricht jeder RGB-Bildtensor einem darin enthaltenen DUT-Teilbild. Die RGB-Bildtensoren und die zugehörigen Metadaten werden dem tiefen neuronalen Netz beim Training als Eingänge zur Verfügung gestellt. Nach dem Training können die entsprechenden Metadaten vom neuronalen Netz ausgegeben werden, wenn das Netz während der Laufzeit zur Klassifizierung von Fehlern verwendet wird.
Das neuronale Netz 220 kann viele Schichten umfassen, um Merkmale der Eingänge zu extrahieren, gefolgt von einer vollständig verbundenen Schicht für die Klassifizierung. In einer Ausführungsform wird ein „Transfer-Learning“-Ansatz verwendet, bei dem die Netzwerkschichten anhand von nicht verwandten Bildern vortrainiert werden. Die Schichten des tiefen Netzwerks 220 können 3D-Kreuzkorrelationsfilter über alle Kanäle (z. B. drei RGB-Kanäle) und innerhalb jeder Kanalebene verwenden. Bei Verwendung des Transfer-Lernens wird die vollständig verbundene Klassifizierungsschicht durch eine neue, nicht trainierte, vollständig verbundene Schicht mit der richtigen Anzahl von Ausgangsklassifizierungen für diese Anwendung ersetzt. Das Netzwerk wird dann trainiert, indem es das Tensor-Bildfeld und das Metadatenfeld als Eingänge erhält. Während des Trainingsprozesses werden die Elemente der Ausgabe 222 im Fehlerblock 306 mit den entsprechenden Elementen in den Metadaten 304 verglichen. Der daraus resultierende Fehler 308 wird im Trainingsblock 310 verwendet, um die vom Netzwerk verwendeten Gewichtungswerte 224 zu aktualisieren. Dem Fachmann ist eine Reihe von Trainingsalgorithmen bekannt. In einer Ausführungsform werden alle Gewichtungswerte aktualisiert.
In einer anderen Ausführungsform werden die Merkmalsextraktionsschichten (mit Gewichtungswerten 224A) eines zuvor trainierten Netzes mit Ausgangsschichten (mit Gewichtungswerten 224B) kombiniert, die so strukturiert sind, dass sie die gewünschten Klassifizierungen für eine neue Anwendung liefern. Ein Netz kann beispielsweise vortrainierte Merkmalsextraktionsschichten enthalten, gefolgt von einer vollständig verbundenen Schicht, einer SoftMax-Schicht und einer Klassifizierungsschicht. Im Trainingsblock 310 werden die Gewichtungswerte 224B für die Ausgabeschichten aktualisiert, während für die Gewichtungswerte 224A in den Merkmalsextraktionsschichten das Transferlernen verwendet wird. Beispielsweise können Normalisierungskoeffizienten in einer SoftMax-Schicht so trainiert werden, dass die Netzausgabe zwischen 0 und 1 liegt, und eine Klassifizierungsschicht kann so trainiert werden, dass sie eine Entropiefunktion für die Klassifizierung berechnet. Die Anzahl der vortrainierten Merkmalsextraktionsschichten kann die Anzahl der zu trainierenden Schichten weit übersteigen. Somit kann das Transfer-Lernen die benötigte Trainingszeit und die Datenmenge erheblich reduzieren.
Sobald das Netz trainiert ist, kann es das Training in regelmäßigen Abständen fortsetzen, wenn weitere Daten-Arrays gesammelt werden. Sobald eine ausreichende Menge an zusätzlichen Daten zur Verfügung steht, kann das Netz die Laufzeit unterbrechen, um das Training mit den neuen Daten zu aktualisieren. Wenn das trainierte Netz läuft, wird das Metadaten-Array nicht mehr eingegeben, sondern nur noch das Tensor-Bild-Array. Dann gibt das Netz den Metadatensatz aus, der mit dem gegebenen unüblichen RGB-Tensor-Eingangsbild verknüpft ist.
Während der Laufzeit wird der vorhandene Block mit Klassifizierungsalgorithmen nicht verwendet, da zur Laufzeit keine Metadaten in das tiefe Netz eingegeben werden. Wenn jedoch ein Teil, z. B. ein DUT, einen Defekt-Scan nicht besteht, kann dieser Klassifizierungsblock verwendet werden, um das fehlerhafte Teil weiter zu untersuchen und mithilfe bereits vorhandener Verfahren zu klassifizieren.
In regelmäßigen Abständen können während der Laufzeit weitere Trainingsdaten erzeugt werden, wenn der Benutzer das System anhält und die Teile mit Klassifizierungsalgorithmen weiter untersucht. Zu einem bestimmten Zeitpunkt können so viele neue Daten zur Verfügung stehen, dass ein erweitertes Training des Netzes durchgeführt werden kann, um die neuen Daten in das Lernen des Netzes einzubeziehen.
Obwohl im Blockdiagramm von 3 nicht dargestellt, ist das System in einer Ausführungsform so programmiert, dass es zur Laufzeit mehrere Ausgabemetadatensätze erstellt - einen für jedes der mehreren Referenzbilder, die mit jedem Teilbild verbunden sind. Der endgültige Klassifizierungssatz von Metadaten kann dann aus den mehreren Sätzen ausgewählt werden, je nachdem, welcher Satz gemäß den Histogrammen der Metadatenwerte mit größerer Wahrscheinlichkeit korrekt ist.
Das oben beschriebene System verwendet eine RGB-Bildstruktur als Eingang für ein einzelnes tiefes neuronales Netz mit Kreuzkorrelationsebenen. Dieses Netzwerk verwendet Kreuzkorrelationsebenen anstelle von Faltungsebenen. Während Kreuzkorrelationsschichten und Faltungsschichten für einige Kernel mit bestimmten Symmetrien gleichwertig sind, sind Kreuzkorrelationsschichten im Allgemeinen nicht gleichwertig mit Faltungsschichten. Das neuronale Netz kann anhand bereits vorhandener Daten trainiert werden, in denen Defekte erkannt und klassifiziert wurden. Alternativ oder zusätzlich kann das neuronale Netz auch in-situ trainiert werden. Während des In-situ-Trainings des neuronalen Netzes scannt das System viele DUTs und lässt sie durch bestehende automatische Erkennungs- und Klassifizierungsalgorithmen laufen, die ein bestimmtes Bild als bestanden oder nicht bestanden einstufen und jeden Defekt kennzeichnen. Es können Metadaten erzeugt werden, die Eigenschaften des Defekts wie Größe, Position, Typ usw. enthalten. Neben der automatischen Klassifizierung, die für das Training verwendet wird, können auch manuelle Klassifizierungsdatenbeispiele einbezogen werden. Bei Wafern oder Gehäusen wird das hochauflösende Ausgangsbild in kleinere Bilder unterteilt, die so groß sind, dass die Teilschaltkreise des Wafers beobachtet werden können und eine akzeptable Größe für den Eingang in die tiefen Netzwerke haben.
Während des Trainings erhält das Netz als Eingang ein Array von RGB-Tensor-Bildern zusammen mit einem Array von Metadaten-Strukturen, die die jedem Bild zugeordneten Klassenbezeichnungen enthalten.
Nach dem Training besteht die Laufzeit des Systems aus dem Scannen eines DUTs, der Erstellung des Bildes und des RGB-Tensors des Teilbildes und der Anwendung als Eingang für das tiefe Netzwerk. Die Ausgabe des Netzwerks ist die Fehlerklassifizierungs-Kennzeichnung(en) und optional andere identifizierte Eigenschaften des Fehlers wie Größe und Position.
Viele der oben beschriebenen Blöcke sind den verschiedenen, im Folgenden beschriebenen Ausführungsformen gemeinsam.
4 ist ein Blockdiagramm eines Ultraschall-Defekterkennungs- und Klassifizierungssystems 400 gemäß anderen Ausführungsformen der Offenbarung. Dieses System ähnelt dem oben beschriebenen System, mit dem Unterschied, dass das neuronale Netz ein Siamesisches Neuronales Netz (SNN) enthält. Ein Siamesisches Neuronales Netz enthält zwei identische tiefe Netze, die nach dem Training die gleichen Gewichtungswerte oder Koeffizienten verwenden. Wie in 4 dargestellt, bereitet ein erster Eingangskartenersteller 402 die Bilddaten für einen Eingang in ein erstes tiefes neuronales Netz 404 vor. Das Netzwerk 404 kann z. B. durch Transfer-Lernen vortrainiert werden. Die Eingangsmerkmalskarte kann beispielsweise von einem RGB-Bild-Tensor-Ersteller ausgegeben werden, bei dem ein gescanntes DUT-Teilbild in alle drei RGB-Kanäle der Merkmalskarte platziert wird. Der zweite Eingangsmerkmalskartenersteller 406 bereitet die Bilddaten für die Eingänge in das zweite tiefe neuronale Netz 408 vor. Der Ersteller 406 kann einen RGB-Bildtensor erstellen, indem er ein oder mehrere Referenzteilbilder in den drei RGB-Kanälen platziert.
Bei den tiefen neuronalen Netzen 404 und 408 kann es sich beispielsweise um computerimplementierte neuronale Netze handeln, die Allzweck- oder kundenspezifische Prozessoren oder eine Kombination davon enthalten können.
In einer Ausführungsform kann das RGB-Bild für die DUT-Eingangsseite das gleiche DUT-Bild in allen drei Kanälen enthalten. Ein aus den Diagrammparametern 410 erzeugtes Bild kann jedoch unabhängig in einen der Kanäle oder in den Bildkanal aufgenommen werden. In einer weiteren Ausführungsform kann jeder Kanal eine andere Erfassung des Referenzbildes enthalten.
Ein wichtiges Merkmal des Systems in 4 ist, dass sowohl das erste als auch das zweite tiefe neuronale Netz die gleichen Gewichtungswerte 412 verwenden. Dadurch wird sichergestellt, dass die Ausgänge der Netze gleich sind, wenn die gleiche Eingangsmerkmalskarte auf beide Seiten des Netzes angewendet wird.
Im Betrieb werden die Ausgabe 414 des ersten tiefen neuronalen Netzes 404 und die Ausgabe 416 des zweiten tiefen neuronalen Netzes 408 in Block 418 verglichen, um ein Bestanden/Fehlerhaft-Signal 420 zu erzeugen. Wenn die Ausgaben ähnlich sind, wird vorhergesagt, dass das gescannte Objekt frei von Mängeln ist (d. h. die Inspektion besteht). Sind die Ausgaben unähnlich, wird vorhergesagt, dass das gescannte Objekt einen Defekt aufweist (d. h. die Prüfung nicht besteht).
Optional kann das Gut/Schlecht-Signal 420 verwendet werden, um den Betrieb des automatischen Defektklassifikators 422 zu steuern, der eine Klassifizierung 424 des Fehlers auf der Grundlage eines Vergleichs des gescannten Teilbildes 206 und eines oder mehrerer Referenzbilder 210 erstellt.
So führt das Siamesische Neuronale Netz, das das erste tiefe neuronale Netz 404, das zweite tiefe neuronale Netz 408 und den Komparator 418 umfasst, eine Bestanden/Fehlerhaft-Klassifizierung durch. Diese Aufgabe wird besser erfüllt als bei einem Standardnetzwerk, da es speziell für die Betrachtung des Ähnlichkeitsgrades zwischen zwei Bildern ausgebildet ist. Fällt das DUT durch, wird das Standardnetz zur weiteren Klassifizierung des Defekts verwendet. Die Verwendung des Standardnetzes ermöglicht die optionale grafische Eingabe zusätzlicher Parameter, die bei der Klassifizierung des Defekts helfen.
5 ist ein vereinfachtes Blockdiagramm eines Geräts 500 zum Trainieren eines Siamesischen Neuronalen Netzes zur Erkennung von Defekten in Objekten, die mit einem Ultraschallscanner gescannt wurden, in Übereinstimmung mit verschiedenen repräsentativen Ausführungsformen. In der in 5 dargestellten Ausführungsform empfängt der Klassifikator 502 Referenzbilder 210 und gescannte Bilder 206 und bestimmt, ob das gescannte Bild einen Defekt aufweist, wie durch das Signal 504 angezeigt. In einer alternativen Ausführungsform können die gescannten Bilder auf andere Weise als defekt oder nicht defekt gekennzeichnet werden, z. B. durch manuelle Kennzeichnung. In einer weiteren Ausführungsform kann es sich bei den gescannten Bildern um synthetische Bilder handeln, die so erstellt wurden, dass sie einen Defekt zeigen. Das Signal 504 wird an den Kontrastverlustgenerator 506 weitergeleitet. In einer Ausführungsform wird der Kontrastverlust, L, wie folgt berechnet $L = Y \times D + (1 - Y) \times m a x (m a r g i n - D,0)$
wobei D der euklidische Abstand zwischen den Ausgängen 414 und 416 des neuronalen Netzes ist und Y den Wert 0 annimmt, wenn das gescannte Bild 206 keinen Fehler aufweist, und den Wert 1, wenn es einen Fehler zeigt.
Der kontrastive Verlust 508 wird vom Trainingsblock 510 verwendet, um die Gewichtungswerte 412 so zu aktualisieren, dass der kontrastive Verlust reduziert wird. In einer Ausführungsform werden die anfänglichen Gewichtungswerte durch Transferlernen ermittelt.
6 ist ein Flussdiagramm des computerimplementierten Verfahrens 600 in Übereinstimmung mit verschiedenen repräsentativen Ausführungsformen. Bezug nehmend auf 6 wird in Block 602 auf Scandaten, die bei einem Ultraschallscan eines Objekts erfasst wurden, in einem oder mehreren Computergeräten zugegriffen. In Block 604 wird aus den Scandaten ein zweidimensionales (2D) Scanbild erstellt. Optional wird in Block 606 aus dem 2D-Scanbild eine erste Eingangsmerkmalskarte erstellt. Die erste Eingangsmerkmalskarte kann zusätzliche Daten enthalten, z. B. Parameterdiagramme oder einen 3D-Bildtensor, wie oben beschrieben. Die erste Eingangsmerkmalskarte wird in Block 608 in ein erstes tiefes neuronales Netz eingegeben, um eine erste Ausgangsmerkmalskarte zu erzeugen. Eine zweite Eingangsmerkmalskarte, die ein oder mehrere Bilder von fehlerfreien Objekten enthält, wird in Block 610 in ein zweites tiefes neuronales Netz eingegeben, um eine zweite Ausgangsmerkmalskarte zu erzeugen. Das zweite tiefe neuronale Netz hat die gleiche Struktur und die gleichen Gewichtungswerte wie das erste tiefe neuronale Netz. Die erste und die zweite Ausgangsmerkmalskarte werden in Block 612 verglichen. Wenn der Abstand zwischen ihnen nicht groß ist (im Vergleich zu einem bestimmten Schwellenwert), wie durch den negativen Zweig von Entscheidungsblock 614 dargestellt, wird der Fluss zu Block 616 fortgesetzt, und es wird kein Fehler erkannt. Das gescannte Objekt wird als fehlerfrei eingestuft. Ist der Abstand zwischen den Ausgangsmerkmalskarten groß, wie im positiven Zweig von Entscheidungsblock 614 dargestellt, wird ein Defekt erkannt, wie in Block 618 angegeben. Optional kann der Defekt in Block 620 klassifiziert werden, entweder durch einen automatischen Defektklassifikator oder durch manuelle Klassifizierung durch einen Benutzer.
In einer Ausführungsform ist die erste Eingangsmerkmalskarte ein dreidimensionaler (3D) Bildtensor mit dem 2D-Scanbild in allen drei Kanälen des ersten 3D-Bildtensors, und die zweite Eingangsmerkmalskarte ist ein dreidimensionaler (3D) Bildtensor mit einem 2D-Scanbild eines fehlerfreien Objekts in jedem der drei Kanäle. Jeder Kanal kann ein anderes Bild enthalten.
Wie oben beschrieben, können die Gewichtungswerte des ersten und zweiten tiefen neuronalen Netzes von einem tiefen neuronalen Netz kopiert werden, das mit Farbbildern trainiert wurde. Die Gewichtungswerte des ersten und zweiten tiefen neuronalen Netzes können auf der Grundlage eines kontrastiven Verlusts des Abstands zwischen der Ausgangsmerkmalskarte des ersten tiefen neuronalen Netzes und der Ausgangsmerkmalskarte des zweiten tiefen neuronalen Netzes angepasst werden.
7A ist eine schematische Darstellung einer ersten Eingangsmerkmalskarte 700 in Übereinstimmung mit verschiedenen repräsentativen Ausführungsformen. Die Merkmalskarte ist ein 3D-Bild-Tensor mit „R“-, „G“- und „B“-Kanälen. Dieses Format wird üblicherweise zur Speicherung der roten, grünen und blauen Kanäle eines Farbbildes verwendet. In 7A wird jedoch jeder Kanal verwendet, um ein 2D-Bild eines gescannten Objekts zu speichern. Daher wird das Bild 702 in allen drei Kanälen gespeichert. In dem gezeigten Beispiel zeigt ein Bereich 704 des Bildes einen Defekt.
7B ist eine schematische Darstellung einer zweiten Eingangsmerkmalskarte 710 in Übereinstimmung mit verschiedenen repräsentativen Ausführungsformen. Auch hier ist die Merkmalskarte ein 3D-Bild-Tensor mit „R“-, „G“- und „B“-Kanälen. In 7B wird jeder Kanal verwendet, um ein 2D-Bild eines fehlerfreien Objekts zu speichern. So wird das Bild 712 in den „R“-Kanal, das Bild 714 in den „G“-Kanal und das Bild 716 in den „B“-Kanal gelegt.
7C ist eine schematische Darstellung einer weiteren Eingangsmerkmalskarte 720 gemäß verschiedenen repräsentativen Ausführungsformen. Auch hier ist die Merkmalskarte ein 3D-Bildtensor mit „R“-, „G“- und „B“-Kanälen. In 7C wird das gescannte Bild 722 in den „R“-Kanal, das fehlerfreie Bild 724 in den „G“-Kanal und ein Parameterdiagramm-Bild 726 in den „B“-Kanal eingefügt. In dem gezeigten Beispiel zeigt der Bereich 728 des Bildes 722 einen Defekt. In anderen Ausführungsformen können grafische Parameterdaten in der Peripherie eines Kanals, außerhalb des vom Bild belegten Bereichs, platziert werden.
Ein Vorteil der Verwendung von 3D-Bildtensoren mit drei Kanälen besteht darin, dass sie in hochleistungsfähige neuronale Netze eingegeben werden können, die mit RGB-Farbbildeingänge vortrainiert wurden. Resnet18 ist ein Beispiel für ein solches vortrainiertes Netz, aber die Ausführungsformen der Offenlegung sind nicht auf ein bestimmtes vortrainiertes Netz beschränkt. Die Ausgangsschichten dieser vortrainierten Netze werden ersetzt und für die automatische Fehlererkennung und -klassifizierung neu trainiert. Dies ist ein großer Vorteil, denn um das Netz von Grund auf neu zu trainieren, wäre eine viel größere Anzahl von Eingangsbildern erforderlich. Durch die Verwendung der vortrainierten Merkmalsextraktion der unteren Schichten und das Training nur der ersetzten Ausgabeschichten können die Netze mit weniger Daten und weniger Aufwand trainiert werden, um ein leistungsfähiges Netz zu erhalten.
Wie oben beschrieben, enthalten die drei Eingangskanäle des 3D-Bildtensors keine roten, grünen und blauen Farbkomponenten. Stattdessen wird ein Bild ohne Defekte in einen Farbkanal gelegt, ein gescanntes Bild (möglicherweise mit Defekten) in einen anderen Farbkanal und Balkendiagramme von Parametern in einen anderen Farbkanal.
Ein weiterer Vorteil dieses Ansatzes ist, dass der so konstruierte 3D-Tensor immer noch als Farbbild betrachtet werden kann. Wenn zum Beispiel ein fehlerfreies Bild in den roten Kanal und ein Bild mit einem Fehler in den grünen Kanal gelegt wird, hängt die resultierende Farbe von den Unterschieden zwischen den Bildern ab. In Bereichen, in denen die Bilder gleich sind, wird das resultierende Bild gleiche Mengen an Rot und Grün (aber mit unterschiedlicher Intensität) aufweisen, während in Bereichen, in denen sie unterschiedlich sind, entweder Rot oder Grün dominieren wird. Man geht davon aus, dass das neuronale Netz empfindlich auf die Farbunterschiede in den Bereichen reagiert, in denen Fehler auftreten. Dieser Ansatz kann mit Siamesischen Neuronalen Netzen verwendet werden, um eine Bestanden/Fehlerhaft-Ausgabe zu erzeugen, und mit anderen Neuronalen Netzen, wie z. B. einem mehrschichtigen Residualnetz, um eine automatische Klassifizierung zu ermöglichen.
Ausführungsformen der Offenlegung verwenden maschinelles Lernen, um die Klassifizierung von Ultraschallbildern zu unterstützen, die für eine zu testende Vorrichtung (DUT), wie Wafer und Gehäuse, erhalten wurden. Es können tiefe Netzwerke verwendet werden, die Kreuzkorrelationsschichten enthalten. Es kann auch ein Siamesisches Netzwerk verwendet werden, um bekannte gute Referenzbilder mit Bildern von DUTs zu vergleichen, die möglicherweise Defekte enthalten, und sie dann als bestanden oder nicht bestanden zu klassifizieren. Das Training der Netze erfolgt mit bestehenden Klassifizierungsalgorithmen, um den Aufwand für die manuelle Kennzeichnung durch den Benutzer zu minimieren. Bei Bedarf kann auch eine manuelle Kennzeichnung vorgenommen werden.
Aspekte der Offenlegung können auf kundenspezifischer Hardware, auf Firmware, digitalen Signalprozessoren oder auf einem speziell programmierten Allzweckcomputer mit einem Prozessor, der nach programmierten Anweisungen arbeitet, funktionieren. Die hier verwendeten Begriffe „Controller“ oder „Prozessor“ sollen Mikroprozessoren, Mikrocomputer, anwendungsspezifische integrierte Schaltungen (ASICs) und spezielle Hardware-Controller umfassen. Ein oder mehrere Aspekte der Offenbarung können in computerverwendbaren Daten und computerausführbaren Anweisungen verkörpert sein, beispielsweise in einem oder mehreren Programmmodulen, die von einem oder mehreren Computern (einschließlich Überwachungsmodulen) oder anderen Geräten ausgeführt werden. Im Allgemeinen umfassen Programmmodule Routinen, Programme, Objekte, Komponenten, Datenstrukturen usw., die bestimmte Aufgaben ausführen oder bestimmte abstrakte Datentypen implementieren, wenn sie von einem Prozessor in einem Computer oder einem anderen Gerät ausgeführt werden. Die computerausführbaren Anweisungen können auf einem nicht transitorischen, computerlesbaren Medium wie einer Festplatte, einer optischen Platte, einem Wechselspeichermedium, einem Festkörperspeicher, einem Random Access Memory (RAM) usw. gespeichert sein. Wie dem Fachmann klar sein wird, kann die Funktionalität der Programm-Module in verschiedenen Aspekten beliebig kombiniert oder verteilt werden. Darüber hinaus kann die Funktionalität ganz oder teilweise in Firmware oder Hardware-Äquivalenten wie integrierten Schaltungen, FPGA und dergleichen verkörpert sein. Bestimmte Datenstrukturen können verwendet werden, um einen oder mehrere Aspekte der Offenbarung effektiver zu implementieren, und solche Datenstrukturen werden im Rahmen der hier beschriebenen computerausführbaren Anweisungen und computerverwendbaren Daten in Betracht gezogen.
Die offengelegten Aspekte können in einigen Fällen in Hardware, Firmware, Software oder einer Kombination davon implementiert sein. Die offengelegten Aspekte können auch in Form von Befehlen implementiert werden, die auf einem oder mehreren nicht-übertragbaren computerlesbaren Medien gespeichert sind, die von einem oder mehreren Prozessoren gelesen und ausgeführt werden können. Solche Anweisungen können als Computerprogrammprodukt bezeichnet werden. Computerlesbare Medien, wie hier beschrieben, sind alle Medien, auf die ein Computer zugreifen kann. Computerlesbare Medien können zum Beispiel Computerspeichermedien und Kommunikationsmedien umfassen, ohne darauf beschränkt zu sein.
Computerspeichermedien sind alle Medien, die zur Speicherung von computerlesbaren Informationen verwendet werden können. Zu den Computerspeichermedien gehören beispielsweise RAM, ROM, EEPROM (Electrically Erasable Programmable Read-Only Memory), Flash-Speicher oder andere Speichertechnologien, CD-ROM (Compact Disc Read Only Memory), DVD (Digital Video Disc) oder andere optische Plattenspeicher, Magnetkassetten, Magnetbänder, Magnetplattenspeicher oder andere magnetische Speichervorrichtungen sowie alle anderen flüchtigen oder nicht flüchtigen, entfernbaren oder nicht entfernbaren Medien, die in beliebigen Technologien eingesetzt werden. Computerspeichermedien schließen Signale als solche und vorübergehende Formen der Signalübertragung aus.
Kommunikationsmedien sind alle Medien, die für die Übertragung von computerlesbaren Informationen verwendet werden können. Zu den Kommunikationsmedien gehören beispielsweise Koaxialkabel, Glasfaserkabel, Luft oder jedes andere Medium, das für die Übertragung von elektrischen, optischen, Hochfrequenz- (HF), Infrarot-, akustischen oder anderen Signalen geeignet ist.
Außerdem wird in dieser schriftlichen Beschreibung auf bestimmte Merkmale verwiesen. Es ist davon auszugehen, dass die Offenbarung in dieser Spezifikation alle möglichen Kombinationen dieser besonderen Merkmale umfasst. Wenn beispielsweise ein bestimmtes Merkmal im Zusammenhang mit einem bestimmten Aspekt offenbart wird, kann dieses Merkmal, soweit möglich, auch im Zusammenhang mit anderen Aspekten verwendet werden.
Auch wenn in dieser Anmeldung auf ein Verfahren mit zwei oder mehr definierten Schritten oder Vorgängen Bezug genommen wird, können die definierten Schritte oder Vorgänge in beliebiger Reihenfolge oder gleichzeitig ausgeführt werden, sofern der Kontext diese Möglichkeiten nicht ausschließt.
Obwohl bestimmte Aspekte der Offenbarung zum Zwecke der Veranschaulichung dargestellt und beschrieben wurden, können verschiedene Änderungen vorgenommen werden, ohne von Geist und Umfang der Offenbarung abzuweichen. Dementsprechend sollte die Offenbarung nicht eingeschränkt werden, außer durch die beigefügten Ansprüche.
In diesem Dokument können relationale Begriffe wie „erster“ und „zweiter“, „oben“ und „unten“ und dergleichen ausschließlich zur Unterscheidung einer Einheit oder Handlung von einer anderen Einheit oder Handlung verwendet werden, ohne dass dies notwendigerweise eine tatsächliche Beziehung oder Reihenfolge zwischen diesen Einheiten oder Handlungen erfordert oder impliziert. Die Begriffe „umfasst“, „umfassend“, „beinhaltet“, „beinhaltend“, „hat“, „aufweisend“ oder andere Variationen davon sollen eine nicht ausschließliche Einbeziehung abdecken, so dass ein Prozess, ein Verfahren, ein Artikel oder eine Vorrichtung, die eine Liste von Elementen umfasst, nicht nur diese Elemente umfasst, sondern auch andere Elemente enthalten kann, die nicht ausdrücklich aufgelistet sind oder zu einem solchen Prozess, Verfahren, Artikel oder einer solchen Vorrichtung gehören. Ein Element, dem der Zusatz „umfasst...“ vorangestellt ist, schließt ohne weitere Einschränkungen das Vorhandensein weiterer identischer Elemente in dem Prozess, das Verfahren, dem Gegenstand oder der Vorrichtung, die das Element umfasst, nicht aus.
Wenn in diesem Dokument von „einer Ausführungsform“, „bestimmten Ausführungsformen“, „einer Ausführungsform“, „Implementierung(en)“, „Aspekt(en)“ oder ähnlichen Begriffen die Rede ist, bedeutet dies, dass ein bestimmtes Merkmal, eine bestimmte Struktur oder eine bestimmte Eigenschaft, die im Zusammenhang mit der Ausführungsform beschrieben wird, in mindestens einer Ausführungsform der vorliegenden Offenbarung enthalten ist. Daher bezieht sich das Auftreten solcher Ausdrücke oder an verschiedenen Stellen in dieser Beschreibung nicht unbedingt auf dieselbe Ausführungsform. Darüber hinaus können die einzelnen Merkmale, Strukturen oder Eigenschaften in jeder geeigneten Weise in einer oder mehreren Ausführungsformen ohne Einschränkung kombiniert werden.
Der Begriff „oder“, wie er hier verwendet wird, ist als umfassender Begriff zu verstehen, der eine beliebige oder eine beliebige Kombination bedeutet. Daher bedeutet „A, B oder C“ „eines der folgenden Elemente“: A; B; C; A und B; A und C; B und C; A, B und C". Eine Ausnahme von dieser Definition liegt nur dann vor, wenn eine Kombination von Elementen, Funktionen, Schritten oder Handlungen sich in irgendeiner Weise gegenseitig ausschließen.
Wie hierin verwendet, bedeutet der Begriff „ausgebildet für“, wenn er auf ein Element angewendet wird, dass das Element entworfen oder konstruiert werden kann, um eine bestimmte Funktion zu erfüllen, oder dass es die erforderliche Struktur hat, um es zu ermöglichen, neu ausgebildet oder angepasst zu werden, um diese Funktion zu erfüllen.
Zahlreiche Details wurden dargelegt, um das Verständnis der hier beschriebenen Ausführungsformen zu erleichtern. Die Ausführungsformen können auch ohne diese Details praktiziert werden. In anderen Fällen wurden bekannte Methoden, Verfahren und Komponenten nicht im Detail beschrieben, um die beschriebenen Ausführungsformen nicht zu verdecken. Die Offenbarung ist nicht als auf den Umfang der hier beschriebenen Ausführungsformen beschränkt zu betrachten.
Der Fachmann wird erkennen, dass die vorliegende Offenbarung anhand von Beispielen beschrieben wurde. Die vorliegende Offenbarung könnte unter Verwendung von Hardwarekomponenten-Äquivalenten, wie z. B. Spezialhardware und/oder dedizierten Prozessoren, die der vorliegenden Offenbarung, wie sie beschrieben und beansprucht wird, gleichwertig sind, implementiert werden. In ähnlicher Weise können dedizierte Prozessoren und/oder dedizierte festverdrahtete Logik verwendet werden, um alternative äquivalente Ausführungsformen der vorliegenden Offenbarung zu konstruieren.
Verschiedene hier beschriebene Ausführungsformen werden unter Verwendung spezieller Hardware, konfigurierbarer Hardware oder programmierter Prozessoren implementiert, die Programmieranweisungen ausführen, die weitgehend in Form von Flussdiagrammen beschrieben sind, die auf jedem geeigneten elektronischen Speichermedium gespeichert oder über jedes geeignete elektronische Kommunikationsmedium übertragen werden können. Es kann auch eine Kombination dieser Elemente verwendet werden. Fachleute werden verstehen, dass die oben beschriebenen Prozesse und Mechanismen in einer beliebigen Anzahl von Variationen implementiert werden können, ohne von der vorliegenden Offenbarung abzuweichen. So kann beispielsweise die Reihenfolge bestimmter Vorgänge variiert werden, es können zusätzliche Vorgänge hinzugefügt oder Vorgänge gestrichen werden, ohne von der vorliegenden Offenbarung abzuweichen. Solche Variationen werden in Erwägung gezogen und als gleichwertig betrachtet.
Die verschiedenen repräsentativen Ausführungsformen, die hier im Detail beschrieben wurden, sind als Beispiele und nicht als Beschränkung dargestellt worden. Der Fachmann wird verstehen, dass verschiedene Änderungen an der Form und den Details der beschriebenen Ausführungsformen vorgenommen werden können, die zu gleichwertigen Ausführungsformen führen, die in den Anwendungsbereich der beigefügten Ansprüche fallen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 63/324340 [0001]

Claims

Ein computer-implementiertes Verfahren, das Folgendes umfasst: Zugreifen auf Scandaten, die bei einem Ultraschallscan eines Objekts erfasst wurden, an einem oder mehreren Computergeräten; Erstellen einer ersten Eingangsmerkmalskarte aus den Scandaten, die ein zweidimensionales (2D) Scanbild enthält; Eingeben der ersten Eingangsmerkmalskarte in ein erstes tiefes neuronales Netz, um eine erste Ausgangsmerkmalskarte zu erzeugen; Eingeben einer zweiten Eingangsmerkmalskarte, die ein Scanbild eines defektfreien Objekts enthält, in ein zweites tiefes neuronales Netz, das die gleiche Struktur und die gleichen Gewichtungswerte wie das erste tiefe neuronale Netz hat, um eine zweite Ausgangsmerkmalskarte zu erzeugen; und Bestimmen, dass das gescannte Objekt einen Defekt enthält, wenn der Abstand zwischen der ersten und der zweiten Ausgangsmerkmalskarte groß ist.
Das computerimplementierte Verfahren nach Anspruch 1, wobei: das Erstellen der ersten Eingangsmerkmalskarte das Erstellen eines ersten dreidimensionalen (3D) Bildtensors mit dem 2D-Scanbild in allen drei Kanälen des ersten 3D-Bildtensors umfasst; und das Erstellen der zweiten Eingangsmerkmalskarte das Erstellen eines zweiten dreidimensionalen (3D) Bildtensors beinhaltet, aufweisend: ein erstes 2D-Scanbild eines fehlerfreien Objekts in einem ersten Kanal des zweiten 3D-Bildtensors; ein zweites 2D-Scanbild eines defektfreien Objekts in einem zweiten Kanal des zweiten 3D-Bildtensors; und ein drittes 2D-Scanbild eines fehlerfreien Objekts in einem dritten Kanal des zweiten 3D-Bildtensors.
Das computerimplementierte Verfahren nach Anspruch 1 oder 2 umfasst ferner: Kopieren von Gewichtungswerten des ersten und zweiten tiefen neuronalen Netzes aus einem tiefen neuronalen Netz, das mit Farbbildern trainiert wurde.
Das computerimplementierte Verfahren nach einem der Ansprüche 1 bis 3 umfasst ferner ein Anpassen der Gewichtungswerte des ersten und des zweiten tiefen neuronalen Netzes auf der Grundlage eines kontrastiven Verlusts des Abstands zwischen dem Ausgang des ersten tiefen neuronalen Netzes und dem Ausgang des zweiten tiefen neuronalen Netzes.
Das computerimplementierte Verfahren nach einem der Ansprüche 1 bis 4 umfasst ferner: Weiterleiten des Scanbildes an einen automatischen Defektklassifikators, wenn bestimmt wird, dass das gescannte Objekt einen Defekt enthält.
Ein computer-implementiertes Verfahren, das Folgendes umfasst: Zugreifen auf Scandaten, die bei einem Ultraschallscan eines Objekts erfasst wurden, an einem oder mehreren Computergeräten; Erstellen eines zweidimensionalen (2D) Scanbilds aus den Scandaten; Erzeugen einer grafischen 2D-Darstellung der mit dem Scan-Bild verbundenen Informationen; Erzeugen von Metadaten zur Fehlerklassifizierung für das Objekt; Erstellen eines dreidimensionalen (3D) Bildtensors mit dem 2D-Scanbild in einem ersten Kanal des 3D-Bildtensors, einem 2D-Bild eines fehlerfreien Objekts im zweiten Kanal des 3D-Bildtensors und der grafischen 2D-Darstellung von Informationen in einem dritten Kanal des 3D-Bildtensors; Eingeben des 3D-Bildtensors in ein tiefes neuronales Netz; Vergleichen einer Ausgabe des tiefen neuronalen Netzes mit den Metadaten zur Fehlerklassifizierung; Einstellen von Gewichtungswerten einer Ausgabeschicht des tiefen neuronalen Netzes, um eine verbesserte Übereinstimmung zwischen der Ausgabe des tiefen neuronalen Netzes und den Fehlerklassifizierungs-Metadaten zu erzielen; und Speichern der angepassten Gewichtungswerte.
Das computerimplementierte Verfahren nach Anspruch 6 umfasst ferner ein Kopieren von Gewichtungswerten in Merkmalsabbildungsschichten des tiefen neuronalen Netzes von einem tiefen neuronalen Netz, das mit Farbbildern trainiert wurde.
Das computerimplementierte Verfahren nach Anspruch 6 oder 7 umfasst ferner ein Speichern eines Trainingsdatensatzes, der Folgendes enthält: Speichern der Fehlerklassifizierungs-Metadaten für das Objekt im Trainingsdatensatz; und Speichern des dreidimensionalen (3D) Bildtensors im Trainingsdatensatz.
Ein automatisches Fehlererkennungssystem, das Folgendes umfasst: ein erstes computerimplementiertes neuronales Netz, das so ausgebildet ist, dass es eine erste Ausgangsmerkmalskarte erzeugt, indem es einen ersten Satz von Gewichtungswerten auf erste Eingangsmerkmale anwendet; einen Eingangsvorprozessor, der so ausgebildet ist, dass er Daten, die bei einem Ultraschallscan eines Objekts erfasst wurden, auf eine Eingangsmerkmalskarte für das erste neuronale Netz abbildet; ein zweites computerimplementiertes neuronales Netz, das so ausgebildet ist, dass es eine zweite Ausgangsmerkmalskarte erzeugt, indem es den ersten Satz von Gewichtungswerten auf eine zweite Eingangsmerkmalskarte anwendet, wobei die zweite Eingangsmerkmalskarte von einem oder mehreren Referenz-Ultraschallscans abgebildet wird; einen Komparator, der so ausgebildet ist, dass er ein Ähnlichkeitsmaß auf der Grundlage einer Differenz zwischen der ersten Ausgangsmerkmalskarte und der zweiten Ausgangsmerkmalskarte erzeugt; und Entscheidungslogik, die so ausgebildet ist, dass sie auf der Grundlage des Ähnlichkeitsmaßes bestimmt, ob das gescannte Objekt einen Defekt enthält.
Das automatische Fehlererkennungssystem nach Anspruch 9 umfasst ferner einen Speicher, der Referenz-Ultraschallscans speichert, wobei die Referenz-Ultraschallscans Scans von fehlerfreien Objekten sind.
Das automatische Fehlererkennungssystem nach Anspruch 9 oder 10, wobei der Eingangsvorprozessor so ausgebildet ist, dass er Folgendes ausführt: Erstellen eines zweidimensionalen (2D) Scanbilds aus den bei einem Ultraschallscan des Objekts erfassten Scan-Daten; Erstellen eines ersten dreidimensionalen (3D) Bildtensors, der das 2D-Scannbild in allen drei Kanälen des ersten 3D-Bildtensors enthält, als erste Eingangsmerkmalskarte.
Das automatische Fehlererkennungssystem nach Anspruch 11, wobei die zweite Eingangsmerkmalskarte ein zweiter dreidimensionaler (3D) Bildtensor ist, aufweisend: ein erstes 2D-Referenz-Ultraschall-Scanbild in einem ersten Kanal des zweiten 3D-Bildtensors; ein zweites 2D-Referenz-Ultraschall-Scanbild in einem zweiten Kanal des zweiten 3D-Bildtensors; und ein drittes 2D-Referenz-Ultraschall-Scanbild in einem dritten Kanal des zweiten 3D-Bildtensors.
Das automatische Fehlererkennungssystem nach Anspruch 11 oder 12, wobei der Eingangsvorprozessor so ausgebildet ist, dass er Folgendes ausführt: Erstellen eines zweidimensionalen (2D) Scanbilds aus den bei einem Ultraschallscan des Objekts erfassten Scan-Daten; Erzeugen einer grafischen 2D-Darstellung von Informationen, die mit dem Scan-Bild verbunden sind; und Hinzufügen der grafischen 2D-Darstellung zur Peripherie des 2D-Scanbildes, um die erste Eingangsmerkmalskarte zu erstellen.
Das automatische Fehlererkennungssystem nach einem der Ansprüche 9 bis 13, das ferner Folgendes umfasst: ein automatisches Klassifizierungssystem, das so ausgebildet ist, dass es das Scanbild verarbeitet, wenn die Entscheidungslogik feststellt, dass das gescannte Objekt einen Defekt enthält, um eine Klassifizierung des Defekts bereitzustellen.
Das automatische Fehlererkennungssystem nach einem der Ansprüche 9 bis 14, das so ausgebildet ist, dass es Folgendes ausführt: Zugreifen auf Metadaten, die angeben, ob das Objekt einen Defekt enthält; Erzeugen eines kontrastiven Verlusts auf der Grundlage eines euklidischen Abstands zwischen der ersten Ausgangsmerkmalskarte und der zweiten Ausgangsmerkmalskarte und den zugegriffenen Metadaten; und Aktualisieren der ersten Gewichtungswerte zumindest teilweise auf der Grundlage der kontrastiven Verlustfunktion.
Das automatisierte Fehlererkennungssystem nach einem der Ansprüche 9 bis 15, wobei das erste computerimplementierte neuronale Netz ein tiefes neuronales Netz mit einer Vielzahl von Kreuzkorrelationsschichten umfasst.