DE4419395A1 - Verfahren und Einrichtung zur Analyse und Verarbeitung von Farbbildern - Google Patents

Description

Die Erfindung bezieht sich auf das Gebiet der elektronischen Bildverarbeitung und Objekterkennung und betrifft ein Ver­ fahren und eine Einrichtung zur Analyse und Verarbeitung von Farbbildern. Sie findet in einer Vielzahl von Anwendungsfäl­ len Verwendung, wo es darauf ankommt, farbige Objekte ent­ sprechend angelernter Farbklassen zu erfassen und entspre­ chend ihrer Anzahl, Form und Position auszuwerten und/oder hinsichtlich ihrer Farbwerte zu analysieren, zu erkennen und/oder zu vergleichen.

Obwohl beim menschlichen Sehen die Farbwahrnehmung zweifel­ los eine grundlegende Bedeutung besitzt und im Bereich der technischen Bildwiedergabe das Farbfernsehen, die Farbfoto­ grafie und der Farbdruck selbstverständlich geworden sind, dominiert in der industriellen digitalen Bildanalyse immer noch die Grauwertverarbeitung. Die Ursache liegt sicherlich darin, das bisher noch keine durchgängigen Systemlösungen gefunden wurden, die in Bezug auf Universalität, echtzeit­ nahe Verarbeitung, ausreichende Farbqualität, vertretbare Hardwarekosten und Entwicklungsumgebung allen Anforderungen einer breiten industriellen Anwendung gerecht werden.

Dabei ist die Farbe für viele Problemlösungen und industri­ elle Anwendungsmöglichkeiten zum Teil unverzichtbar. In vie­ len Fällen kann aber auch die Nutzung von Farbinformationen eine Erkennungsaufgabe im Vergleich zur Grauwertverarbeitung so vereinfachen und die Ergebnisse verbessern, daß der Mehr­ aufwand gerechtfertigt ist bzw. sogar an anderer Stelle aus­ geglichen wird.

Der Begriff Farbe hat nur im Zusammenhang mit einem Wahrneh­ mungssystems eine Bedeutung. So ist z. B. das menschliche Farbsehen ein äußerst komplexer Vorgang. Die Wirkungskette zwischen Licht und Farbempfindung beginnt im Bereich der Physik (Emission des Lichtes, Absorption und Reflexion durch die unterschiedlichen Materialien, Entstehung eines zeit- und ortsabhängigen Farbreizes), durchläuft den Bereich der Physiologie (optische Projektion des Farbreizes und Um­ wandlung in eine "interne Kodierung") und endet im Bereich der Psychologie, in der in Wechselwirkung mit dem Wissen und der Erfahrung des Menschen erst die eigentliche Farbempfin­ dung entsteht.

Bereits Anfang des 19. Jahrhunderts wurde von dem englischen Arzt und Physiker Thomas Young die Theorie des trichromati­ schen Farbsehens entwickelt. Deren Grundgedanke besteht darin, daß jede Farbempfindung durch eine Mischung von drei Lichtquellen mit unterschiedlicher aber konstanter Wellen­ länge mittels Variation deren Intensität erzeugt werden kann. Diese Theorie ist die Grundlage der Colorimetrie, bei der durch Analyse des Farbreizes die resultierende Farbemp­ findung vorausgesagt und quantitativ beschrieben werden soll. In der Videotechnik, wo jeder Farbreiz durch eine Mi­ schung aus rotem, grünen und blauen Licht erzeugt wird, fin­ det dieser Ansatz unmittelbare Anwendung. Erst viel später (1964) ist diese Arbeitshypothese durch Entschlüsselung des biochemischen Prozesses im menschlichen Auge bestätigt wor­ den. Demnach besteht die erste Stufe der Farbwahrnehmung darin, daß durch das sichtbare Licht drei Arten von Photore­ zeptoren der Retina (sogenannte Zapfen), die in verschiede­ nen, sich allerdings überlappenden Spektralbereichen emp­ findlich sind, unterschiedlich stark gereizt werden. Damit wurde bestätigt, daß die Vielfalt spektraler Verteilungen des sichtbaren Lichtes nicht in vollem Umfang wahrnehmbar ist und das Farbsehen grundsätzlich auf ein dreidimensiona­ les Problem zurückgeführt werden kann.

Ausgangspunkt aller Farbsysteme sind die sogenannten Tristi­ muluswerte, die sich aus der Aufnahme eines Farbreizes mit­ tels dreier Sensoren, die unterschiedliche spektrale Emp­ findlichkeitskurven besitzen, ergeben. Sie werden allgemein mit R, G und B (für Rot, Grün und Blau) bezeichnet. Die mei­ sten Farbsysteme sind nun darauf ausgerichtet, diese Werte in einen anderen dreidimensionalen Raum zu transformieren, der die explizite Trennung einer zweidimensional beschriebe­ nen Buntheit (im CIE-System die Normfarbwertanteile) der Farbe von ihrer eindimensional beschriebenen Helligkeit er­ möglicht. In der Buntheitsebene ist stets ein Punkt als Un­ buntpunkt ausgezeichnet. In diesem Punkt bilden sich Farben mit energiegleichen Spektren bzw. mit identischen Tristimu­ luswerten (R=G=B), d. h. die unbunten Farben, ab. Die Entfer­ nung einer Farbe von diesem Punkt kennzeichnet ihre Sätti­ gung (spektraler Farbanteil, saturation), die Richtung vom Unbuntpunkt zum Abbildungspunkt einer mehr oder weniger bun­ ten Farbe definiert ihre Buntart (Buntton, hue). Die Hellig­ keit ergibt sich in fast allen Systemen aus einer linearen Verknüpfung der RGB-Werte, wobei in verschiedenen Systemen diese unterschiedlich gewichtet werden. Die entscheidenden Unterschiede treten in der Beschreibung der Buntheit auf. In einigen Systemen wird die zweidimensionale Buntheit mit karthesischen Koordinaten beschrieben, wobei wie im ClExyz-System der Unbuntpunkt nicht im Koordinatenursprung liegen muß. Entsprechend der Unterscheidung von Sättigung und Bunt­ art verwenden andere Systeme Polarkoordinaten.

In beiden Fällen muß deutlich unterschieden werden, ob der Maßstab der Buntheitsebene auf die Helligkeit normiert ist oder nicht, d. h. ob es sich um eine absolute oder eine rela­ tive Angabe der Sättigung handelt. Letztendlich ist in der Farbbildverarbeitung die Bezugnahme auf die absolute Sätti­ gung unerläßlich, da im Falle eines kleinen absoluten Ab­ standes des Abbildungspunktes einer Farbe in der Buntheits­ ebene vom Unbuntpunkt kleine Änderungen der RGB-Werte zu großen, sprunghaften Änderungen der Buntart führen und diese demzufolge nicht oder nur mit Vorsicht auswertbar ist. Ande­ rerseits ist aber auch eine relative Sättigungsangabe erfor­ derlich, wenn zwei bunte Farben, die sich im Fall gleicher Beleuchtung nur in ihrer absoluten Sättigung und nicht in ihrer Buntart unterscheiden auch bei Veränderung der Hellig­ keit wiedererkannt und unterschieden werden sollen. Da ein Farbeindruck sich immer aus Buntheit und Helligkeit zusam­ mensetzt, folgt natürlich auch, daß Objekte, deren Farben sich nur in der Helligkeit unterscheiden, bei wechselnder Helligkeit der Beleuchtung nicht anhand ihrer Farbe wieder­ erkannt bzw. voneinander getrennt werden können.

Bekannt sind exakte farbmetrische Messungen und Qualitäts­ kontrollen, die nur unter genau definierten Beleuchtungs- und Betrachtungsbedingungen möglich sind. Mit vertretbarem Aufwand können solcher Art Farbanalysen derzeit mittels Spektralphotometern nur für kleine, punktförmige Meßflächen realisiert werden. In vielen Fällen, die mit einer bildhaf­ ten Farbaufnahme und -auswertung verbunden sind, ist eine solche Genauigkeit jedoch nicht erforderlich. Es geht nicht um farbmetrische Messungen an Objekten, sondern Farbe wird als ein weiteres Merkmal neben Größe, Form und Oberflächen­ textur zur Detektion und Bewertung von Objekten benutzt, wo­ bei mitunter relativ grobe Unterscheidungen ausreichend sind.

Auf dem Gebiet der digitalen Bildverarbeitung sind bereits aus den deutschen Patentanmeldungen DE OS 4310727, DE OS 4309877, DE OS 4309879, DE OS 4335215 Verfahren und Einrich­ tungen bekannt, die der Vorlagen-Analyse einer zu reprodu­ zierenden farbigen Bildvorlage dienen und das bisher bekann­ te Wissen auf dem Gebiet der Analysen von Bildvorlagen sinn­ voll zusammenfassen. Diese Lösungen gehen ebenfalls von der punkt- und zeilenweisen, trichromatischen Abtastung eines Farbbildes aus. Die Bildwerte (R, G, B) eines Eingabegerätes, die einen ersten Farbraum bilden, werden in funktionsmäßig zugehörige Bildwerte (L*, a*, b*) eines zweiten Farbraumes transformiert. An Hand dieses zweiten Farbraumes werden be­ reits alle notwendigen Farbanalyse- und Bildbearbeitungs-Funk­ tionen für die exakte Erstellung einer Reproduktions-Vor­ lage realisiert. Eine effektive Muster- und Objekterken­ nung, wie sie bei vielen industriellen, sicherheitstechni­ schen und militärischen Aufgaben gefordert wird, ist mit den bekannten Verfahren bei einem vertretbaren Aufwand nicht zu realisieren.

Grundlage der meisten Verfahren zur Objekt- und Mustererken­ nung bildet die Grauwertverarbeitung, d. h. die Detektion von Grauwertsprüngen (Grauwertkanten) in einem Bild. Daraus er­ geben sich linienhafte Informationen, die die Kontursegmente der verschiedensten Objekte erfassen, aus denen unter Einbe­ ziehung geeigneter Modelle die gesuchten Objekte abgeleitet werden. Der flächenhafte Zusammenhang der Objekte kann auf diesem Weg i.a. nur nachträglich und modellgestützt abgelei­ tet werden. Das kann sich bei geringen Helligkeitsunter­ schieden zwischen Objekt und Umgebung und anderen Störungen (z. B. Verdeckungen, Schattenbildungen, Reflexionen) als sehr schwierig erweisen, da die Kantensegmente nur lückenhaft oder stark gestört vorliegen. Die unmittelbare Ableitung flächenhafter Informationen auf der Basis von Grauwert­ schwellen oder Texturmerkmalen, ist deshalb in vielen Fällen nicht praktikabel. Da bekannt ist, daß sich bunte Objekte bzw. Markierungen besser vom Untergrund bzw. der Umgebung unterscheiden, bietet sich die Hinzunahme der Farbinformati­ on in die Bildverarbeitung geradezu an. Die einfache summa­ rische Verbindung der bekannten Verfahren zur Farbbildanaly­ se und zur Muster- bzw. Objekterkennung ist zwar theoretisch möglich, jedoch zu aufwendig und unökonomisch.

Aus der deutschen Patentschrift DE PS 4141880 ist ein Ver­ fahren und eine Vorrichtung zur automatischen Erkennung von farbigen und/oder auch schwarz/weißen Objekten bekannt, wel­ che unregelmäßig oder unzusammenhängend geformt sein können, wie beispielsweise Zellcluster. Die von einer Videokamera gelieferten Bildpunktsignale werden mit einem Fensterkompa­ rator, bei Farbsignalen mit drei Fensterkomparatoren, mit oberen und unteren Schwellenwerten verglichen. Es wird für einzelne Bereiche eines über das Gesamtbild gelegten Rasters die Zahl der zwischen den Schwellenwerten liegenden Bild­ punktsignale bestimmt, und die so ermittelten Zahlen werden in einer Speichermatrix gespeichert, bei der jedes Element einem Bereich des über das Ausgangsbild gelegten Rasters entspricht. Das so im Informationsgehalt reduzierte Bild wird anschließend mit einer Maske abgetastet, um zu bestim­ men, weiche Elemente der Speichermatrix einen vorgegebenen Wert überschreiten und um welchen Abstand sie von anderen Matrixelementen mit einem ebenfalls über dem Schwellenwert liegenden Inhalt getrennt sind.

Dieses bekannte Verfahren der Objekterkennung beruht auf ei­ nem Bildvergleich und ist speziell im medizinisch biologi­ schen Bereich einsetzbar, wo es darum geht unregelmäßige und/oder auch unzusammenhängend geformte Zellstrukturen zu Erkennen und/oder diese Zellcluster zu zählen. Zur besseren Erkennung werden die Zellstrukturen in bestimmter Weise ein­ gefärbt und diese Farbinformation zusätzlich in die Auswer­ tung mit einbezogen. Dazu ist es notwendig, die allgemein im Stand der Technik bekannte Farbtransformation aus dem RGB-Raum in den HSI-Raum (H = Hue = Farbton, Buntart; S = Sa­ turation = Sättigung; I = Intensity = Intensität, Hellig­ keit) durchzuführen.

Insgesamt wird in dieser Erfindung lediglich die Grauwert­ skala durch eine Farbskala erweitert, ohne das die Farbe, wie bei der menschlichen Farbwahrnehmung, integrativ in den komplexen Erkennungsprozeß mit einbezogen wird.

Es ist daher Aufgabe der Erfindung, ein Verfahren und eine Einrichtung zu schaffen, in denen bestimmte Elemente bekann­ ter Verfahren und Einrichtungen der Farbbildanalyse und der Muster- und Objekterkennung derart sinnvoll miteinander in­ tegriert sind, daß ein komplexes Farbbild-Erkennungs- und - Verarbeitungssystem entsteht, welches einfacher, ausreichend genau, schneller und zuverlässiger arbeitet sowie universell in der Anwendung und billiger in seiner Realisierung ist.

Erfindungsgemäß wird die Aufgabe in Bezug auf das Verfahren mit den in dem 1. Anspruch angegebenen Verfahrensschritten und in Bezug auf die Einrichtung mit den Merkmalen des 5. Anspruches gelöst, indem die von einem Eingabegerät, welches eine Videokamera, ein Scanner oder eine CCD-Matrix sein kann, gewonnenen Bildwerte (R, G, B) eines ersten Farbraumes in einen hinsichtlich Buntart (Hue), Sättigung (Saturation) und Helligkeit (Intensity) (H, S, I) speziell definierten und vom ersten Farbraum unabhängigen zweiten Farbraum pixelweise transformiert werden. Die Umsetzung der Farbwerte aus dem ersten in den zweiten Farbraum erfolgt hardware-mäßig in Vi­ deoechtzeit unter Verwendung von Look-Up-Table (LUT)-Bauele­ menten.

In diesem zweiten Farbraum wird eine Trennung von Buntheit (Buntart und Sättigung) und Helligkeit durchgeführt, was die Erkennung bestimmter Farbklassen auch bei Helligkeitsschwan­ kungen erlaubt. Für die später im Verfahren durchzuführende Muster- und Objekterkennung wird zusätzlich der Vorteil ge­ nutzt, daß die Klassifikation der einzelnen Bildpunkte an­ hand ihrer Farbe unmittelbar zu einer flächenhaften Segmen­ tierung des Abbildes führt.

Gleichzeitig werden die Farbwerte des ersten Farbraumes pi­ xelweise klassifiziert und damit das Farbbild in ein soge­ nanntes Labelbild (Label = Adresse, Kennzeichnung), welches nur noch die Klassennummern enthält, überführt. Technisch erfolgt die Farbklassifikation und die Erzeugung eines La­ belbildes gleichzeitig und parallel zur Farbtransformation mittels demselben LUT, der dafür mit einer entsprechend gro­ ßen Ausgangswortbreite zur gleichzeitigen Kodierung der Werte des zweiten Farbraumes und der Label ausgestattet ist.

Die Belegung der Ausgangswerte in Form einer Tabelle wird durch ein Verarbeitungssystem vorgenommen. Die Zuordnung der Label, d. h. die Farbklassifikation kann sowohl auf Basis ei­ ner interaktiven Belehrung anhand von Beispielobjekten als auch auf Basis einer automatischen Analyse von Bildern im zweiten Farbraum durch das Verarbeitungssystem erfolgen.

In dem Labelbild erfolgt dann eine Erkennung der Grenzlinien zwischen Gebieten mit verschiedenen Label in Videoechtzeit, indem ein Übergang zu einer objektbezogenen Listenverarbei­ tung durch Detektion der Ecken (Erstellung einer Eckenkode­ liste) durchgeführt wird. Hardware-mäßig erfolgt die Reali­ sierung der Eckenkodeumsetzung kostengünstig und zweckmäßi­ gerweise in einem Eckenkodierer mit Hilfe von frei program­ mierbaren LCA-Bauelementen. Damit ist die das Verfahren rea­ lisierende Schaltung optimal an verschiedene Zwecke anpaß­ bar, ohne für weitere Implementierungen erneute Leiterkar­ tenentwürfe herzustellen.

Die entstehende Eckenkodeliste, die das Labelbild eindeutig beschreibt, aber wesentlich weniger Daten erfordert als das Labelbild selbst, wird durch das Verarbeitungssystem, das auf einem Universalprozessor beruht, weiterverarbeitet. Zu­ nächst wird eine metrisch-topologische Beschreibung zusam­ menhängender Labelgebiete unter Einbeziehung schneller Kon­ turapproximationsverfahren abgeleitet. Auf dieser Basis und unter Einbeziehung der zielgerichteten Auswertung des ge­ speicherten und transformierten Farbbildes können komplexe Objekte und Objektzusammenhänge auf einer symbolischen Ebene erkannt und analysiert werden.

Eine vorteilhafte Ausgestaltung der Erfindung betrifft die besondere Arbeitsweise und den Aufbau des Eckenkodierers, der aus den in einer Rasterbilddarstellung enthaltenen Kon­ turecken eine Listendarstellung erzeugt. Die als Liste vor­ liegenden Bilddaten werden dann ohne weitere Bildverarbei­ tungs-Spezialhardware in einem Verarbeitungssystem ausgewer­ tet. Der Eckenkodierer erzeugt die Listendarstellung aus der Verarbeitung 2- oder mehrlabeliger (z. B. 16-labeliger) Bild­ daten.

Eine im Eckenkodierer integrierte Vorverarbeitungsstufe er­ möglicht eine Binarisierung von Bilddaten bezüglich program­ mierbarer Schwellenwerte und damit auch die Verarbeitung von Grauwertbildern.

Der Eckenkodierer ist somit für die Verarbeitung von:

* Binärbildern (2-labelig)
* Grauwertbildern (nach Binarisierung 2-labelig oder jedem Grauwert ein Label zugeordnet) und
* Farbbildern (jedem Farbwert oder Farbbereich z. B. über eine LUT ein Label zugeordnet) geeignet.

Die Baugruppe führt die im Rasterbild auszuführenden verar­ beitungs- und rechenzeitintensiven Teilfunktionen des Verar­ beitungsalgorithmusses in Videoechtzeit aus und erzeugt beim Auftreten von Ecken im Bild Codes, die in Listenform ausge­ geben und durch ein Verarbeitungssystem ausgewertet werden.

Die Erfindung wird im folgenden anhand der Figuren. 1 bis 7 näher erläutert.

Es zeigen:

Fig. 1 eine schematische Anordnung zur Realisierung des er­ findungsgemäßen Verfahrens,

Fig. 2 ein Kommunikationsmodell für ein Farbbildverarbei­ tungssystem,

Fig. 3 ein Prinzipschaltbild des Eckenkodierers,

Fig. 4 die Funktionsweise der Eckenkodegenerierung,

Fig. 5 ein aufgenommenes Farbbild in Grauwertdarstellung,

Fig. 6 das Ergebnis einer pixelweisen Farbklassifikation entsprechend angelernter Farbklassen,

Fig. 7 die Erkennung kreisförmiger Objekte.

Fig. 1 zeigt in einer schematischen Darstellung den prinzipi­ ellen Aufbau einer Einrichtung zur Analyse und Verarbeitung von Farbbildern entsprechend des erfindungsgemäßen Verfah­ rens und Fig. 2 ein Kommunikationsmodell des Farbbildverar­ beitungssystems nach Fig. 1. Die Einrichtung besteht aus ei­ nem Eingabegerät 1, einem Farbbildanalysator 2, einem Verar­ beitungssystem 3 und einem Steuerrechner 4. Mit dem Eingabe­ gerät 1 wird eine zu erkennende Bildszene punkt- und zeilen­ weise, trichromatisch abgetastet. Die durch das Eingabegerät 1 gewonnenen Bildwerte (R, G, B) eines ersten Farbraumes 9 werden in Echtzeit über ein A/D-Wandlermodul 5 in eine Farb­ transformations- und -klassifikationstabelle 6 eingelesen, welche die Bildwerte (R, G, B) eines dem Eingabegerät 1 zuge­ ordneten ersten Farbraumes 9 in die funktionsmäßig zugeord­ neten Bildwerte eines von dem ersten Farbraum 9 unabhängigen zweiten Farbraumes 10 sowie in Farbklassennummern (Label 11) umsetzt. Aus dem Labelbild 11 wird anschließend in einem Eckenkodierer 8 eine Eckenkodeliste 12 erstellt und in den Speicher des Verarbeitungssystems 3 übertragen. In einem Bildspeicher 7 werden das klassifizierte Farbbild 10 und das Labelbild 11 gespeichert. In dem Verarbeitungssystems 3, das sowohl mit der Farbtransformations- und -klassifikationsta­ belle 6, dem Bildspeicher 7 und dem Eckenkodierer 8 verbun­ den ist und Informationen aus dem Bildspeicher 7 und dem Eckenkodierer 8 erhält, erfolgt das eigentliche Erkennen (Wahrnehmen) der erfaßten Muster oder Objekte. Über einen Steuerrechner 4 stehen die durch das Verarbeitungssystem 3 erfaßten Ergebnisse zur Ausgabe oder einer anderen Verarbei­ tung, wie beispielsweise einer Prozeßsteuerung, zur Verfü­ gung. Der Steuerrechner 4 übernimmt außerdem die Bildvisua­ lisierung und interaktive Aufgaben
In dem Verarbeitungssystem 3 wird zunächst wird eine me­ trisch-topologische Beschreibung zusammenhängender Labelge­ biete 13 (Fig. 2) unter Einbeziehung schneller Kontur­ approximationsverfahren aus der Eckenkodeliste 12 abgeleitet und anschließend unter Einbeziehung einer zielgerichteten Auswertung des gespeicherten und transformierten Farbbildes (HSI 10 und Label 11) wird eine komplexe metrisch-topologi­ sche und farbliche Objektbeschreibung 14 durchgeführt.

Fig. 3 beschreibt den prinzipiellen Aufbau des Eckenkodie­ rers 8, der aus einem Prozessorkern 15, welcher typischer­ weise mit einem ASIC (z. B. LCA der Fa. XILINX) realisiert wird, einem Zeilenspeicher 16 (z. B. mittels FIFO realisiert) sowie einem (optionalen) Pufferspeicher 17 (ebenfalls mit­ tels FIFO realisiert) besteht.

Der Zeilenspeicher 16 dient der Generierung eines 2_*2 Bild­ fensters im Prozessorkern 15, in dem die Eckendetektion er­ folgt. Der Pufferspeicher 17 entkoppelt die Datenerzeugung durch den Prozessorkern 15 von der Datenübernahme durch das Verarbeitungssystem 3, so daß z. B. eine blockweise Übertra­ gung der unregelmäßig anfallenden Listendaten möglich wird.

Die Funktionsweise des Eckenkodierers 8 ist in Fig. 4 darge­ stellt. Die zu verarbeitenden Bilddaten werden dem Eckenko­ dierer 8 nach Fig. 3 durch ein Eingangsinterface bereitge­ stellt. Die temporäre Speicherung der jeweils vorangehenden Bildzeile erfolgt mit einem Zeilenspeicher (FIFO 1) 16. Aus den Daten der aktuellen und der vorhergehenden Bildzeile wird für jeden einlaufenden Bildpunkt die Belegung des ihn einschließenden 2_*2-Fensters abgeleitet. Ist in diesem Fen­ ster mehr als ein Label vertreten, wird entsprechend Fig. 4 auf das Vorhandensein einer Ecke geprüft. Entsprechend der Art der Ecke wird ein Code gebildet, der zusammen mit der Zeilenposition der Ecke und der aktuellen Belegung des Fen­ sters (4 Label) ausgegeben wird. Zusätzlich wird an jedem Zeilenende ein Zeilenendecode generiert. Aus diesen Werten kann das Verarbeitungssystem 3 (Fig. 1) die vollständige Kontur und morphometrischen Merkmale der im Bild enthaltenen Objekte ermitteln. Der generierte Code dient der Beschleuni­ gung der Auswertung.

Die erzeugten Ausgangsdaten werden in einem Pufferspeicher (FIFO 2) 17 (Fig. 3) abgelegt und zum Verarbeitungssystem 3 (Fig. 1) blockweise übertragen. Der Pufferspeicher 17 ermög­ licht sowohl eine Entkopplung der Datenströme vom Eckenko­ dierer 8 und dem Verarbeitungssystem 3 als auch eine Verar­ beitung von Bildern mit stark gestörten Bildteilen, die kurzzeitig einen Datenanfall erzeugen, der größer ist als die Datenübernahmerate des Verarbeitungssystems 3.

Die Fig. 5 bis 7 zeigen ein Beispiel für die Klassifika­ tion von bunten Objekten nach Farbe, Größe und Form. Fig. 5 gibt das unverarbeitete Originalbild (hier in Grauwertdar­ stellung) wieder. Es handelt sich um linsenförmige bunte Ob­ jekte, von denen einige zerbrochen sind, auf einem unbunten Hintergrund.

Fig. 6 zeigt das Ergebnis einer pixelweisen Farbklassifika­ tion. Bildpunkte, die einer der angelernten Farbklassen ent­ sprechen, sind weiß wiedergegeben, alle anderen schwarz. Das Ergebnis, d. h. die Erkennung von intakten, kreisförmigen Ob­ jekten eines bestimmten Durchmessers, ist in Fig. 7 darge­ stellt.

Nach dieser Systematik, bei der von einer Bildsegmentierung auf Basis von Farbmerkmalen ausgegangen wird, können viele Probleme der Sortierung und Kontrolle von Objekten nach Far­ be, Größe und Form gelöst werden. Das betrifft zum Beispiel die Sortierung und Verpackung von Obst und Gemüse, die Kon­ trolle des Bräunungsgrades von Backwaren, Kontrolle von Ta­ blettenpackungen und vieles andere mehr.

In der Robotertechnik kann auf dieser Basis das Erkennen und Greifen nach unsortierten Teilen in einer Kiste gelöst wer­ den, wenn diese geeignete farbige Merkmale besitzen oder zielgerichtet mit solchen versehen werden.

Auch Überwachungsfunktionen und Bewegungsanalysen können durch bewußte farbliche Gestaltung bzw. Markierungen verein­ facht und nach der Erfindung ausgeführt werden.

Claims (8)

1. Verfahren zur Analyse und Verarbeitung von Farbbildern einer zu erkennenden Bildszene durch Auswerten der durch punkt- und zeilenweise, trichromatischen Abtastung der Bildszene mittels eines Eingabegerätes gewonnenen Bild­ werte (R, G, B) durch ein digital in Echtzeit arbeitenden Bildverarbeitungssystem, dadurch gekennzeichnet, daß

• a) die von dem Eingabegerät (1) gewonnenen Bildwerte (R, G, B) eines ersten Farbraumes (9) in einen hinsicht­ lich Buntart (Hue), Sättigung und Helligkeit speziell definierten und vom ersten Farbraum (9) unabhängigen zweiten Farbraum (10) pixelweise transformiert wer­ den,
• b) in dem zweiten Farbraum (10) eine Trennung von Buntheit und Helligkeit durchgeführt wird, was die Erkennung bestimmter Farbklassen auch bei Hellig­ keitsschwankungen erlaubt,
• c) die Bildwerte (R, G, B) eines ersten Farbraumes (9) werden gleichzeitig pixelweise über eine Farbklassi­ fikations- und -transformationstabelle (6) klassifi­ ziert und dieses so klassifizierte Farbbild in ein sogenanntes Labelbild (11), welches nur noch die Klassennummern enthält, überführt und zusammen mit den Bildwerten des zweiten Farbraums (10) in einem dafür vorgesehenen Bildspeicher (7) gespeichert,
• d) in dem Labelbild (11) eine Verarbeitung in Vi­ deoechtzeit durchgeführt wird, indem ein Übergang zum objektbezogenen Listenverarbeitung durch Detektion der Ecken (Erstellung einer Eckenkodeliste (12)) durchgeführt wird und aus der Eckenkodeliste (12) in einer Verarbeitungseinheit (3) die Ableitung von zu­ sammenhängenden mehrwertigen Labelgebieten (13) er­ folgt,
• e) die zusammenhängenden Labelgebiete (13) in der Ver­ arbeitungseinheit (3) metrisch-topologisch analysiert werden als Basis für die Erkennung komplexer Objekte und Objektzusammenhänge auf einer symbolischen Ebene (14), wobei durch den Zugriff auf den Bildspeicher (7) die Auswertung der Farbinformation des zweiten Farbraums (10) einbezogen wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Belehrung der Farbklassifikations- und -transforma­ tionstabelle (6), der im Verfahrensschritt c klassifi­ zierten Farbwerte, interaktiv anhand von Beispielobjek­ ten oder automatisch durch Analyse der Bildwerte des zweiten Farbraumes (10) durch das Verarbeitungssystem (3) erfolgt.

3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die metrisch-topologische Beschreibung des Labelbildes (14) im Verfahrensschritt e durch die Einbeziehung schneller Konturapproximationsverfahren zur Sicherung einer stark verdichteten Beschreibung des Labelbildes (14) erfolgt.

4. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß in dem Verarbeitungssystem (3) auf der Basis der Ecken­ kodeliste (12) und dem in den zweiten Farbraum (10) tranformierten Bildes eine Analyse der gefundenen farbi­ gen Objekte oder Muster durch das Verarbeitungssystem (3) in Videoechtzeit oder angenäherter Videoechtzeit er­ folgt.

5. Einrichtung zur Analyse und Verarbeitung von Farbbildern einer zu erkennenden Bildszene durch Auswerten der durch punkt- und zeilenweise, trichromatischen Abtastung der Bildszene mittels eines Eingabegerätes gewonnenen Bild­ werte (R, G, B) durch ein digital in Echtzeit arbeitendes Bildverarbeitungssystem, dadurch gekennzeichnet, daß die Einrichtung aus einem Eingabegerät (1), einem Farbbild­ analysator (2), einem Verarbeitungssystem (3) und einem Steuerrechner (4) besteht, das Eingabegerät (1) über ein A/D-Wandlermodul (5) an eine Farbklassifikations- und -transformationseinrichtung (6) in dem Farbbildanalysator (2) angeschlossen ist, welche die Bildwerte (R, G, B) ei­ nes dem Eingabegerät (1) zugeordneten ersten Farbraumes (9) in die funktionsmäßig zugeordneten Bildwerte eines vom ersten Farbraum (9) unabhängigen zweiten Farbraumes (10) und in ein Labelbild (11) umsetzt, einem Eckenko­ dierer (8) zur Erstellung der Eckenkodeliste (12), einem Bildverarbeitungssystem (3) und einem Steuerrechner (4) besteht.

6. Einrichtung nach Anspruch 5, dadurch gekennzeichnet, daß die Farbklassifikations- und -transformationseinrichtung (6) im Farbbildanalysator (3) aus Look-Up-Table (LUT)-Baugruppen besteht.

7. Einrichtung nach Anspruch 5, dadurch gekennzeichnet, daß der Eckenkodierer (8) aus frei programmierbaren LCA-Bau­ elementen und FIFO-Bauelementen besteht.

8. Einrichtung nach Anspruch 5, dadurch gekennzeichnet, daß das Bildverarbeitungssystem (3) ein kommerziell verfüg­ barer Signalprozessorboard ist.