DE19834718C2 - Digitale Bildverarbeitung für ein Qualitätskontrollsystem - Google Patents

Description

Die Erfindung befasst sich mit einem Bildverarbeitungsverfahren und einem Verfahren zur automatisierten Klassifikation einer texturierten Oberfläche.

Bei der Qualitätskontrolle industriell gefertigter oder bearbeiteter Oberflächen werden bisher vorwiegend Personen eingesetzt. Ihre Aufgabe ist die visuelle Begutachtung der Oberfläche und die Markierung eventueller Fehler. Gleichzeitig erfolgt oft eine Rückkopplung aus dem Produktions- oder Bearbeitungsprozeß.

Die Schwierigkeit der visuellen Qualitätskontrolle liegt in den Beurteilungsdifferenzen der Kontrolleure begründet. Hier gibt es zum einen Beurteilungsunterschiede zwischen den einzelnen Kontrolleuren als auch zeitliche Schwankungen durch unterschiedliche Tagesformen. Derzeit werden vielfach die Qualitäten von Oberflächen durch Personen kontrolliert und klassifiziert. Hierbei kommt es oft zu einem Driften der Qualität durch Unterscheidungsdifferenzen der unterschiedlichen Kontrolleure. Es spiegelt sich auch die Arbeitszeit und die Ermüdung der Kontrolleure in der Objektivität der Ergebnisse wieder.

Eine automatische Klassifikation in der Produktion erfolgt derzeit entweder durch eine Auswertung von Grauwertbildern oder eine Schwellenwert-Entscheidung von Farbbildern.

Aus der DE 36 39 636 (Robert Massen) ist eine automatische Inspektion von Textilbahnen dem Fachmann zugänglich. Diese Inspektion beruht auf einer in Echtzeit durchgeführten Farbfehler-Erkennung zugleich mit einer in Echtzeit durchgeführten lokalen Strukturfehler-Erkennung und einer bei unsicheren Erkennungsergebnissen eingeschalteten, nicht mehr in Echtzeit durchgeführten zweidimensionalen Bildauswertungen, vgl. dort "Zusammenfassung" sowie Spalte 8, Zeilen 50 bis 70. Diese Fundstelle verwendet demzufolge Schwellenwerte und gehört dem einen zuvor genannten Typ von Bilderkennungsverfahren (mit Schwellenwert-Entscheidung) an. Andererseits ist aus Greenspan, Goodman, Chellappa und Anderson, "Learning Texture Discrimination Rules in a Multiresolution System", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 16, No. 9, 1994, Seiten 894 bis 901 eine Texturanalyse dem Fachmann ergänzend zugänglich, die unbeaufsichtigt arbeitet, aber eine überwachte Lernphase im statistischen Bereich mit einer neuronalen Netzwerkstheorie beschreibt. Auf der dortigen Seite 900 werden verschiedene Bilder für verschiedene Texturoberflächen zusammengesetzt, ohne allerdings eine Verknüpfung zwischen den spektralen Bildebenen durchzuführen. Jedes Bild ist eine komplette Parzelle, vgl. dort Seite 900, linke Spalte sowie die dortige Fig. 7. Schließlich ist die DE 196 12 465 (Fraunhofer) ein Repräsentant einer automatischen Konfiguration eines Prüfsystems, bei dem Fehler in Texturoberflächen erkannt werden können, unter Bewertung und Neueinstellung der Leistungsfähigkeit eines bereits voreingestellten oder neu eingestellten Systems zur Erkennung.

Eine Problemstellung der Erfindung liegt darin, ein auf ein jeweiliges Bild beschränktes Segmentierungsverfahren zu verbessern und insbesondere eine automatische Klassifikation in der Produktion zu ermöglichen, unabhängig von subjektiven Einflüssen der Betrachter bzw. des Bewerters.

Gelöst wird diese Aufgabe mit einem Verarbeitungsverfahren nach Anspruch 1, bezogen auf die Erkennung von Unregelmäßigkeiten einer texturierten Oberfläche, oder mit einem Verfahren zur automatischen Klassifikation einer solchen Oberfläche (Anspruch 3).

Die Oberflächen werden durch bildgebende Verfahren gewonnen (Anspruch 2). Soweit Stichproben verwendet werden (Anspruch 1, Anspruch 3) entstammen sie einem kontinuierlichen oder diskontinuierlichen Produktionsprozeß, alternativ einer medizinischen Anwendung.

Das hier vorgeschlagene Farbtexturauswertungs-Verfahren ermöglicht nach einer Parametrisierung eine unabhängige Kontrolle texturierter einfarbiger oder farbiger Oberflächen. Als Beispiele werden Holzoberflächen und Dekorfolien genannt. Gleichzeitig eignet sich dieses Verfahren zur allgemeinen Bildauswertung und Bildsegmentierung von Stichproben, die nicht zur Parametrisierung verwendet wurden.

Das Verfahren geht aus vom Verfahren zur (Farb-)Texturauswertung von P. P. Raghu und B. Yegnanarayana, "Segmentation of Gabor-Filtered Textures Using Deterministic Relaxation", IEEE Transactions on Image Processing, Vol. 5, No 12, pp 1625-1636, Dec, 1996. sowie P. P. Raghu and B. Yegnanarayana, "Multispectral Image Classification Using Gabor Filters and Stochastic Relaxation Neural Network", Neural Networks, Vol. 10, No 3, pp 561-572, 1997. Dieses Verfahren wird so erweitert und abgewandelt, daß nicht nur ein und dasselbe Bild teilmanuell segmentiert werden kann, wie bei Raghu/Yegnanarayana, sondern vollständige Datensätze und Bildserien automatisch segmentierbar und klassifizierbar sind.

Das bekannte Verfahren von Raghu/Yegnanarayana zur Segmentierung von digitalen Grau- und Farbbildern arbeitet halbautomatisch auf einem einzelnen Bild und ist nicht zur Behandlung von Stichproben und zur kontinuierlichen Prozeßüberwachung geeignet, da eine Bedienperson für jeden Bildausschnitt die gewünschten Klassen vorgeben muß. Erfindungsgemäß ist das verbessert worden.

Das erfindungsgemäße Verfahren erlaubt nach Erfassen einer Lernstichprobe mit manueller Klassifikation und der Vorgabe der Klassen eine automatisierte Arbeitsweise. Diese Daten werden bei der Prozeßkontrolle mit den aus der Produktion gewonnenen Daten verglichen und eine Klassenzuordnung gut/schlecht getroffen.

Hauptvorteil dieses Verfahrens gegenüber anderen Texturverfahren ist die Adaptionsfähigkeit an die entsprechende Aufgabenstellung. Ein Anwender gibt dem Verfahren die besonderen Eigenschaften einer Oberfläche in Arealen vor und lernt damit die Texturerkennung an.

Das neue Verfahren eignet sich besonders gut für die Klassifikation von farbig texturierten Oberflächen, beispielhaft genannt sind:
Automatische Segmentierung von Einzelbildern oder Bildstichproben ein- oder mehrkanaligen Ursprungs.
Klassifikation von Bildmaterial mit einem oder mehreren Kanälen, d. h. sowohl Grauwert- als auch Farbbilder als auch Multispektralaufnahmen.
Automatische Auswertung mehrkanaliger Satellitenaufnahmen und Luftbilder, hierbei insbesondere im Bereich Land-Use, Kartierungssysteme, Bodenerosion und Verstädterung.
Automatische Klassifikation von Holzwerkstoffen in Gruppen unterschiedlicher Qualitäten.
Automatische Klassifikation und Prozeßsteuerung von Produktionsanlagen zur Herstellung von farbig texturierten Folien und anderen Oberflächen.
Automatische optische Vielteilesortierung.
Automatische Beurteilung von histologischen Gewebeproben.
Automatische Auswertung von durch "channelfusion" hervorgegangenen Datensätzen, z. B. Verschmelzung von sichtbaren Kameradaten (SW- oder Farbkameradaten) mit Ultraschall- oder Röntgenbildern oder Höheninformationsdaten. Die verwendeten Daten können beliebigen Ursprungs sein und ganzzahlige, Fließ- oder Gleitkommawerte haben. Diese unterschiedlichen Daten können dem Verfahren auch verknüpft vorgelegt werden.
Automatische oder überwachte Klassifikation von kontinuierlichen und diskontinuierlichen Prozessen.
Klassifikation der Daten in zwei oder mehrere Klassen, d. h. beliebige Klassenanzahl.

Beispiele erläutern und ergänzen die Erfindung.

Fig. 1 ist ein Verfahrensbeispiel, mit Schaltungsanordnung

Fig. 2 verdeutlicht eine Bildoberfläche 10, aus der Areale 11, 12 . . . ausgewählt sind.

Fig. 3 verdeutlicht die Vorbereitung der Textur-Prototypen.

Fig. 4 veranschaulicht das Verfahren von Fig. 1.

In der Fig. 1 ist ein Verfahrensverlauf spezifiziert. Hierbei dient als "Eingabematerial" entweder ein RGB-Bild 10, ein Multispektralbild, ein Grauwertbild oder beliebige andere durch bildgebende Verfahren gewonnene oder darstellbare Information. Die Textureigenschaften werden durch einen beliebigen Convolver 2 oder ein beliebiges Farb- oder Grauwerttexturverfahren extrahiert. Als Beispiel für mögliche Convolver 2 seien Wavelett-Filterung, Median-Filterung, Mittelwert-Filterung oder Gabor-Filterung genannt.

Hierbei fallen für jeden Bildkanal Zwischenbilder Z an. Die Zwischenbilder 21, 22, 23 werden in einem Wahrscheinlichkeitsprozeß 3 verknüpft und ausgewertet. Hierbei entsteht durch weitere Wahrscheinlichkeitsrechnungen 4, 5, 6, 7 ein segmentiertes Bild 8, bei dem die in der Stichprobe vorhandenen Texturklassen als äquidistant verteilte Grauwertdaten repräsentiert werden. Mit Texturklassen sind in diesem Fall repräsentative Bildareale mit identischen Farb- oder Texturinformationen gemeint.

Diese Grauwertdaten werden anschließend durch einen nachgeschalteten Prozeß 9, der statistische Merkmale, z. B. Mittelwert, etc. oder Grauwerttexturmerkmale, z. B. Laws-Filter-Kernel, extrahiert, ausgewertet, und als Merkmalsvektoren M, d. h. als Texturrepräsentanten des als Eingabematerial dienenden Bildes 10, abgespeichert oder einem nachgeschalteten Klassifikationsprozeß zur Verfügung gestellt.

Die Klassifikation der Merkmale kann z. B. mit einem minimum-distance- Klassifikator (KNN) oder durch einen synergetischen Computer erfolgen.

Die Besonderheit dieses Verfahrens ist die Verallgemeinerung aller bisherigen Textur- und Oberflächenkontrollverfahren. Es bestehen keine Unterschiede mehr zwischen diesen beiden Verfahren. Durch Entfernen einzelner Blöcke kann das Verfahren zu einem Grauwertextraktor modifiziert werden.

Das Verfahren arbeitet in zwei Verfahrensschritten. In einem ersten Schritt, dem Lernmodus, wird das Verfahren konfiguriert. Im zweiten Schritt, dem Arbeitsmodus, liefert das Verfahren als Ergebnis - je nach Einsatzzweck - segmentierte Bilddaten oder Texturmerkmale.

Bei diesem Verfahren gibt es keine Unterschiede zwischen Textur- und Farbmerkmalen. Beides wird gleichrangig bewertet und über die Prototypen verschmolzen.

Ein Einsatz des Verfahrens ist bei Qualitätskontrollverfahren, insbesondere Sichtprüfverfahren oder Auswertung von Bildstichproben oder Bilddatenbanken möglich.

Zur Konfiguration des Verfahrens werden im Lernmodus aus den Bildoberflächen 10 einer Lernstichprobe 30 klassentypische Areale 11, 12, 13, 14 ausgewählt und in einer Parameterdatei abgelegt. Diese Trainingsgebiete genannten Lernareale bilden Textur- Prototypen für den späteren Arbeitsmodus des Verfahrens. Areale 11, 12 und 13, 14 mit identischen Textur- oder Farbeigenschaften werden zu je einer Klasse 11a, 13a zusammengefaßt und liefern einen klassenspezifischen Prototypen.

Aus dem Lernmodus werden die Parametereinstellungen für den Texturextraktor und den Klassenzuweisungsmechanismus in den Arbeitsmodus übernommen.

Die Lernstichprobe 30 wird zur Konfiguration, gründend auf den besonderen Eigenschaften der genannten Objektoberfläche der Lernstichprobe, eingesetzt. Hierbei dienen Regionen 11, 12 einer jeweiligen Oberfläche als Kriterium für die Klassenzugehörigkeit 11a. Regionen mit identischen Eigenschaften werden hierbei zu einer Klasse zusammengefaßt. Die Regionen der Lernstichprobe werden durch ein beliebiges Texturverfahren in Klassen-Prototypen 20 umgesetzt und für die anschließende Klassifikation herangezogen.

Bilddaten, die über ein bildgebendes Verfahren aus texturierten Oberflächen gewonnen werden, werden in einem Arbeitsmodus durch die Texturextraktoren in Zwischenbilder Z überführt. Für jedes Individuum der Bildstichprobe ergeben sich für jeden Farbkanal n und die Anzahl der Texturextraktoren t, also n* t Zwischenbilder.

Durch eine Kette aus drei Wahrscheinlichkeitsprozessen wird eine Klassenzuordnung der Bildinformationen zu den Klassen vorgenommen. Das erste Glied der Kette besteht aus einem Feature-Formation genannten Vergleichsprozeß 3, der die Textur- Prototypen 20 mit dem aktuell gefilterten Bild vergleicht. Anschließend folgen ein Partition- und ein Label-Competition-Prozeß 4, 5, die unter Berücksichtigung der Nachbarpixel die endgültige Klassenzuweisung der Bildoberfläche durchführen und das so segmentierte Bild entrauschen. Hier wird ein neuronales Netz mit einem sogenannten simulated-annealing-Prozeß eingesetzt.

Als Zwischenergebnis wird ein in die Textur- oder Fehlerklassen segmentierte (digitale) Bildoberfläche 8 vorgelegt.

Wird das System zur automatischen Klassifikation eingesetzt, werden in einer Nachlaufrechnung aus dem obigen Zwischenbild Z Textur-Merkmale M extrahiert 9. Diese Merkmale werden in einem Entscheidungsprozeß mit denen der Lernstichprobe 30 verglichen.

Areale einer texturierten Oberfläche mit beliebiger Information können als Prototypen für Bildsegmentierungen und Klassifikationen automatisch zugewiesen und bewertet werden.

Das mit Arealen (Regionen) arbeitende Verfahren erlaubt die Segmentierung von Texturoberflächen und dabei nicht nur die weitere Klassifizierung von vergleichbaren Arealen desselben Bildes, sondern die Möglichkeit, Stichproben anderer Natur, die zuvor nicht eingelernt worden sind, zu klassifizieren und damit nach einer Einlernphase, die manuell sein kann, aber nicht manuell sein muß, weiterhin automatisch zu arbeiten und texturierte Oberflächen beliebiger Herkunft, wie sie eingangs mit ihren weitreichenden Möglichkeiten dargestellt worden sind, zu klassifizieren. Es handelt sich also - nach der Einlernphase mit den zuvor beschriebenen Lernstichproben 30 - um ein vollautomatisch arbeitendes Verfahren, das in kontinuierlichen oder diskontinuierlichen Prozessen einsetzbar ist, das medizinische Aufnahmen auszuwerten vermag und sich auch bei sonstigen Auswertungen von Texturoberflächen vorteilhaft einsetzen läßt. Im Gegensatz zu dem Verfahren von Raghu können Stichproben beliebiger Herkunft zur kontinuierlichen und diskontinuierlichen Prozeßüberwachung herangezogen werden, aus welchen Prozessen die Stichproben stammen. Der Benutzer gibt nicht mehr die gewünschten Klassen für ein jeweiliges Bild vor, um mit dem Klassifizierungsprozeß von Raghu auf demselben Bild Klassifizierungen vornehmen zu können, sondern geht von einer Lernstichprobe 30 aus, in der Areale 11, 12, 13 in Form von Trainingsgebieten definiert werden D, mit denen das System trainiert wird. Die dabei gewonnenen "Prototypen" 20 dienen Vergleichszwecken in einem zuvor beschriebenen, komplexeren Vergleichsprozeß, um Klassenzuordnungen bei beliebigen anderen Stichproben zu erhalten.

Die Lernphase des Systems soll anhand der Fig. 2 und 3 erläutert werden, wobei die Fig. 3 in einer Vergrößerung den Block B,20 darstellt, der in Fig. 1 mit "Lerndaten" bezeichnet ist. Dazu ist in Fig. 2 - nur als Beispiel - eine Gruppe von vier Arealen 11, 12, 13, 14 eingezeichnet, die sich auf einer texturierten Oberfläche 10, dem sogenannten "Bildmaterial" oder der Objektoberfläche oder der histologischen Gewebeprobe oder der mehrkanaligen Satellitenaufnahme oder des durch Kanalfusion hervorgegangenen Bilddatensatzes aus Quellen unterschiedlichster Herkunft befinden. Die Trainingsgebiete 11 bis 14 bilden Textur-Prototypen für den späteren Arbeitsmodus des Verfahrens. Im Beispiel der Fig. 2 sind jeweils zwei Textur- Prototypen als identisch angesehen, aufgrund ihrer Textur oder ihrer Farbe, sie werden zu zwei als Beispiel dargestellten klassenspezifischen Prototypen 11a und 13a zusammengefaßt. Das Areal 11 und das Areal 12 hat beispielsweise dieselbe Farbeigenschaft, während das Areal 13 und das Areal 14 dieselbe Textureigenschaft hat. Es entsteht ein klassenspezifischer Prototyp 11a hinsichtlich einer Farbeigenschaft und es entsteht ein klassenspezifischer Prototyp 13a hinsichtlich einer Textureigenschaft für die texturierte Oberfläche 10 der Fig. 2.

Daraus ergeben sich Lerndaten für k Klassen, wenn die entsprechende Verarbeitung gemäß Fig. 3 vorgenommen wird.

Nach Einlernen in das System kann der Arbeitsmodus erfolgen, wie er in der Fig. 1 als Signalflußplan des auf Arealen basierten Texturverfahrens dargestellt ist und wie er in der Fig. 4 in einer Übersicht bei der Arbeitsweise erläutert ist, wie aus der Bildoberfläche der Textur-Extraktor die Areale (Regionen) extrahiert, wie die Merkmale der Lernstichprobe, der Teststichprobe und der Verifikationsstichprobe ermittelt werden und wie durch die Klassifikationen KNN und RSF (k nearest neighbour und recursive feature selection) gezeigt ist, wobei aus den Ergebnissen eine Rückkopplung auf das Lernmuster erfolgt, das der Lernstichprobe 30 entspricht. Ersichtlich an der Fig. 4 sind auch zwei weitere Textur-Extraktoren, die nicht regionenbasiert sind, der CFE und "Alle" (colour feature extracto r und Grauwertmerkmals-Extraktor).

Das Markieren B, D der in Fig. 3 ersichtlichen und stark vergrößert in der Fig. 2 gezeigten Areale erfolgt von Hand oder automatisiert, z. B. mit am Bildschirm eingezeichneten ziehbaren und vergrößerbaren und verkleinerbaren Quadraten, wodurch eine qualifizierte Lernstichprobe mit Markierung der Regionen entsteht, die als Prototypen der "Fehler" (im Produktionsbetrieb) verwendet werden sollen. Die "Testmuster" in den Regionen bilden die jeweiligen Prototypen der Fehler und werden vergleichbare Textur-Prototypen 11, 12 ermittelt, so bilden sie gemeinsam einen klassenspezifischen Prototypen. Diese Prototypen vergleicht das Verfahren mit jeweiligen Bildausschnitten der weiteren Stichprobe 10 und weist nach einer Segmentierung entsprechende Fehlerklassen zu. Die Kontrolle des Verfahrens wird dadurch erreicht, daß ein externes Steuerprogramm die entsprechenden Daten für die Lernmuster berechnet und dem Merkmalsextraktor, der hier dem rechten Merkmalsextraktor in Fig. 4 entspricht, zur Verfügung stellt. Die Rückkopplung erfolgt anhand des Klassifikationsergebnisses.

Aus Verifikationen hat sich ergeben, daß besonders die histologischen Gewebeproben schwierig zu klassifizieren sind, sie bestehen aus einer komplexen Textur und haben ein schwieriges Kontrastverhältnis. Die Farben sind zumeist lila, gelb sowie rosa, rötlich und weißlich, in welchen Farben histologische Schnitte eingefärbt werden. Mit Bildarealen, die der Segmentierung der texturierten Oberfläche entsprechen, werden nicht nur klassentypische Areale ausgewählt, z. B. bei zwei Klassen jeweils zumindest etwa fünf aktive Bildareale, sondern auch eine Negativabgrenzung vorgenommen, durch Auswahl von Hintergrundarealen, die in jedem Falle eine Textur in dem ausgewählten Areal zeigen, die nicht in positive Klassen einzuordnen ist. Wenn hier auch zumindest etwa fünf Areale ausgewählt werden, konnten bei histologischen Gewebeproben vernünftige Ergebnisse der Klassifizierung erzielt werden. Durch das Markieren lernt das System selbst, vergleichbare Bereiche automatisiert in anderen Stichproben aufzufinden.

Weitere Validierungen des mit Regionen (Arealen) arbeitenden Verfahrens lagen in Bronchialsekret-Stichproben mit 517 Bildern, Schnittholz-Stichproben mit 207 Bildern, Baumrinden-Stichproben mit 380 Bildern und einer Luftbild-Stichprobe. Bei der Schnittholz-Stichprobe ergab sich eine überraschend hohe Erkennungsrate der mit Arealen zuvor eingelernten Prototypen von Fehlern, so daß eine richtige Klassenzuweisung von über 84% verifiziert werden konnte, was einen enormen Fortschritt in der automatischen Holzprüfung durch Texturverfahren darstellt. Zwar konnten in dem Verifizierungsstadium nicht alle Fehler den zutreffenden Klassen zugeordnet werden, aber die vorgenannte Erkennungsrate zeigt bereits für automatisierte Erkennungssysteme eine besonders hohe Zuverlässigkeit.

Claims (4)

1. Bildverarbeitungsverfahren zur Erkennung von Unregelmäßigkeiten einer texturierten Oberfläche, wie Objektoberfläche, Bildinhalt, Bildbedeutung und strukturierte Vielteile, welches Verfahren folgende Merkmale aufweist:

• a) Auswählen von Arealen (11, 12, 13, 14) der texturierten Oberfläche (10) in einem Lernmodus aus einer Lernstichprobe und Zuordnen dieser Areale als Textur-Prototypen (11a, 13a);
• b) Extrahieren von Zwischenbildern aus weiteren texturierten Oberflächen einer Stichprobe, die nicht der Lernstichprobe des Lernmodus entspricht;
• c) Vergleich der extrahierten Zwischenbilder mit den Textur-Prototypen, um in Arealen der texturierten Oberfläche der weiteren Stichprobe Unregelmäßigkeiten zu erkennen.

2. Bildverarbeitungssystem nach Anspruch 1, bei der die Oberflächen durch bildgebende Verfahren gewonnen werden.

3. Verfahren zur automatisierten Klassifikation einer texturierten oder farbigen oder Höheninformation darstellenden Oberfläche (texturierte Oberfläche), bei dem vorgesehen sind:

• a) Auswählen von Arealen (11, 12, 13, 14) der texturierten Oberfläche (10) in einem Lernmodus und Zuordnen dieser Areale als Textur- Prototypen (11a, 13a);
• b) Extrahieren von Zwischenbildern aus weiteren texturierten Oberflächen einer Stichprobe, die nicht der Lernstichprobe des Lernmodus entspricht;
• c) Vergleich der extrahierten Zwischenbilder mit den Textur-Prototypen, um Areale der texturierten Oberfläche der weiteren Stichprobe automatisch zu klassifizieren.

4. Verfahren nach Anspruch 1 oder Anspruch 3, wobei die Stichproben Stichproben eines kontinuierlichen oder diskontinuierlichen Produktionsprozesses oder medizinische Aufnahmen sind.