-
Die Erfindung betrifft ein vollautomatisches Verfahren
zur lokal-adaptiven Erkennung von Objekten in digitalem Bildmaterial.
-
Leistungsfähige Geräte der Video- und Computertechnik
ermöglichen
den Einsatz digitaler Bildverarbeitung in nahezu allen wissenschaftlichen
Bereichen und Ingenieurdisziplinen. Dabei ist eine häufig gestellte
Aufgabe die Erkennung von Objekten. Bei der Objekterkennung werden üblicherweise
in einem ersten Schritt interessierende Objekte von anderen Objekten
und dem Bildhintergrund separiert. Dazu werden mittels Segmentierverfahren
Merkmale aus Bildern segmentiert. Anschließend werden die segmentierten
Merkmale in einem weiteren Schritt mittels Klassifikationsverfahren
erkannt und eindeutig einer Objektklasse zugeordnet. Die Objekterkennung
wird beispielsweise bei der Qualitätskontrolle für industrielle
Zwecke mit großem
Erfolg eingesetzt. Gleichermaßen
eignet sich die Objekterkennung mittels digitaler Bildverarbeitung
auch beim Einsatz zur Umgebungserfassung in Fahrzeugen.
-
In der europäischen Patentschrift
EP 0493855 B1 wird
ein Verfahren zur binären
Segmentierung von Infrarotbildern beweglicher Objekte bei der Überwachung
des Straßenverkehrs
beschrieben. Die binäre
Segmentierung erfolgt dabei basierend auf einer Histogramm-Schwellwertbestimmung.
Wobei mittels einer Binarisierungsschwelle automatisch die Grenze
zwischen einem Objektbereich des Bildes und dem Hintergrund des
Bildes mit potentiell verrauschter Intensität bestimmt wird. Da es sich
bei den Objekten um bewegte Objekte handelt, arbeitet das binäre Segmentierverfahren
lokal. Wobei im Rahmen der Vorverarbeitung anhand des dem Fachmann
bekannten Differenzverfahrens grob ein Bildausschnitt (Region Of
Interest = ROI) gewählt
wird, worin ein oder mehrere Objekte enthalten sind. Innerhalb einer ROI
wird zur Bestimmung der Binarisierungsschwelle üblicherweise das Grauwerthistogramm
herangezogen. Im Grauwerthistogramm ist die Anzahl der Pixel im
Bild über
dem Grauwert aufgetragen, bei einer 8Bit-Codierung [0,255]. Der
Grauwert 0 entspricht dabei einem schwarzen Pixel und der Grauwert
255 einem weißen
Pixel, dazwischen liegen die Graustufen. Zur Bestimmung der Binarisierungsschwelle werden
zunächst
die links- und rechtsseitigen Ableitungen der Intensitäten an Punkten
der Histogrammkurve berechnet. Anschließend wird die Intensität eines
Punktes auf der Histogrammkurve berechnet, von dem aus die in Richtung
der einen Seite berechnete Ableitung der Intensität gegen
Null geht und die Richtung der anderen Seite berechnete Ableitung
der Intensität
gegen unendlich geht. Das beschriebene Verfahren setzt voraus, dass
ein Objekt und der Hintergrund im Hinblick auf die Graustufen voneinander getrennt
sind. Bei der Arbeit mit Teilbildern ist diese Hypothese im allgemeinen
richtig. Da das Grauwerthistogramm jedoch die geographische Verteilung oder
Topologie der Pixel nicht berücksichtigt,
verwendet dieses Verfahren im Histogramm anstelle der Anzahl der
Pixel die Anzahl der Objekte. Wobei ein Objekt eine Menge von verbundenen
Pixeln ist und zwei Pixel als Verbunden bezeichnet werden, wenn
ihr gegenseitiger Abstand geringer ist als ein Bezugsabstand. Damit
werden bei diesem Verfahren auch morphologische Informationen im
Bild berücksichtigt.
-
Aus der Schrift "Ein single-pass Algorithmus für die schnelle
Konturcodierung von Binärbildern" von E. Mandler und
M. Oberländer,
Mustererkennung 1990, Springer-Verlag, Berlin, ist ein Verfahren
zur Zusammenhangsanalyse für
digitales Bildma terial bekannt. Die Zusammenhangsanalyse unterscheidet sich
von bekannten Methoden durch eine inkrementelle Vorgehensweise.
In einem Durchlauf (single-pass) wird die Transformation eines Rasterbildes in
eine Konturbeschreibung erreicht. Wobei für die Transformation lediglich
ein Zwischenspeicher von zwei Bildzeilen benötigt wird. Nach Abarbeiten
der letzten Bildzeile ist die symbolische Beschreibung bereits komplett,
welche neben den Konturcodes auch Informationen über die Verschachtelung der Gebiete
umfasst. Neben der Information über
die Verschachtelung können
optional weitere Merkmale wie Fläche
und Umfang berechnet werden. Das Verfahren ist nicht nur auf binäre Bilddaten
beschränkt, sondern
lässt sich
systematisch auf die Zusammenhangsanalyse von mehrwertigen Rasterbildern
erweitern. Wobei der Rechenzeitaufwand für die Konturverfolgung im Wesentlichen
durch die Anzahl der Ecken im Bild bestimmt ist.
-
Aus der Veröffentlichung "Ein Hildsegmentierer
für die
echtzeitnahe Verarbeitung",
von C.Anderer, U.Thönnessen,
M.F.Carlsohn und A.Klonz, Mustererkennung 1989, Springer-Verlag, Berlin, ist
ein Bildverarbeitungsverfahren zur echtzeitnahen Segmentierung interessierender
Objekte bekannt. Dabei handelt es sich um ein regionenbasiertes,
zeilenorientiertes Segmentierungsverfahren, dessen Basis eine Binarisierung
des Bildes mit einer Vielzahl von Grauwertschwellen ist. Insbesondere
wird ein Bild mit einer einstellbaren Anzahl von Grauwertintervallen
binarisiert, wobei ein Grauwertintervall im Intensitätsbereich
zwischen [0,255] liegt und durch eine untere sowie eine obere Schwelle
definiert ist. Ein Grauwertintervall wird dabei derart gewählt, dass
das vorhergehende Grauwertintervall eine Teilmenge des Nachfolgenden
ist. Für
die extrahierte(n) Binärfläche(n) des
Objektes wird eine ikonisch/symbolische Beschreibung in Form eines
Merkmalsvektors angelegt. Wird bei diesem Verfahren im Rahmen der
Binarisierung der Abstand der Binarisierungsschwellen klein genug
gewählt,
so ist in der Regel gewährleistet,
dass alle interessierenden Objekte durch die Binarisierung separiert
werden.
-
Was jedoch bei Objekten mit starkem
Kontrast dazu führt,
dass diese mehrfach als nahezu gleiche Fläche mit einem ähnlichen
Merkmalsvektor extrahiert werden (Mehrfachhypothesen). Diese Redundanz
wird verfahrensmäßig dadurch
verringert, dass Flächen
eines Objektes mit nahezu "gleichem Aussehen" zusammengefasst
werden und abschließend
nur ein Merkmalsvektor als Ergebnis ausgegeben wird. Dies ist nur über einen
mehrstufigen Zuordnungsprozess der Flächen aus benachbarten Grauwertintervallen
und der Überprüfung des
Kontextes "ähnlich" möglich. Der
Kontext "Ähnlichkeit" ist dabei vom Benutzer über Regeln
frei programmierbar, wobei sich die Regeln anhand einfacher Sprache
formulieren lassen. Der mehrstufige Zuordnungsprozess lässt sich
an das Datenmaterial verschiedenster Aufgabenstellungen adaptieren.
Da das Verfahren durch den komplexen mehrstufigen Zuordnungsprozess
erheblichen Verarbeitungsaufwand erfordert, wurde es für den echtzeitnahen
Einsatz parallelisiert und als spezielle Hardware realisiert.
-
Der Erfindung liegt daher die Aufgabe
zu Grunde, ein Verfahren zur lokal-adaptiven Segmentierung von Objekten
in digitalem Bildmaterial zu schaffen, wobei das Verfahren ohne
Parallelisierung mittels Standard Hardware betreibbar ist und sich durch
hohe Robustheit bei gleichzeitig geringem Verarbeitungsaufwand auszeichnet.
-
Die Aufgabe wird gemäß der Erfindung
durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 gelöst. Vorteilhafte
Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus
den Unteransprüchen.
-
Gemäß der Erfindung wird ein Verfahren
zur lokal-adaptiven Objektsegmentierung für digitales Bildmaterial bereitgestellt.
Wobei das Verfahren darauf basiert, dass ein digitales Bild mittels
mehrerer unterschiedlicher Binarisierungsschwellen binarisiert wird,
so dass entsprechend mehrere Binärbilder
entstehen. Innerhalb dieser einzelnen Binärbilder wird sodann eine Zusammenhangsanalyse
durchgeführt, um
binär zusammenhängende Gebiete
als Objekthypothesen zu segmentieren. In einer erfinderischen Weise
werden bei dem Verfahren zur lokal-adaptiven Objektsegmentierung
für digitales
Bildmaterial zu allen segmentierten Objekthypothesen Merkmale in der
Form von Grauwertvektoren sowie die dazugehörigen ROIs zwischengespeichert.
Die Grauwertvektoren umfassen dabei die Intensitätswerte von Objekthypothesen
in Graustufen, wobei die einzelnen Graustufen beispielsweise in
der Form eines Zeilenvektors abgespeichert werden. Die ROIs werden
ebenfalls als Vektoren abgespeichert, in welchen beispielweise die
Position der linken oberen Ecke im Bild sowie die Höhe und Breite
der ROI eingetragen sind. In Abhängigkeit
der Schrittweite einzelner Binarisierungsschwellen kann es vorkommen,
dass Mehrfachhypothesen segmentiert werden. Zur Beseitigung von
Mehrfachhypothesen werden die zwischengespeicherten ROIs mit einem
Clusterverfahren zusammengefasst. Im Anschluss an die Clusterung
erfolgt innerhalb jedes Clusters eine Selektion einer einzigen ROI.
Wobei sodann die dieser ROI zugeordnete Objekthypothese das zu segmentierende Objekt
repräsentiert.
Beim Einsatz des erfindungsgemäßen Verfahrens
werden Objekte somit robust erkannt und segmentiert, wobei Schwankungen
der Hintergrundbeleuchtung aufgrund der adaptiven Gestaltung der
Binarisierungsschwelle ausgeglichen werden. Der Rechenaufwand wird
dabei durch den Clusterprozess so gering gehalten, dass das Verfahren
unter Verwendung von Standard-Hardware
betreibbar ist.
-
In einer gewinnbringenden Ausführungsform der
Erfindung wird die Schrittweite zwischen den einzelnen Binarisierungsschwellen
adaptiv gestaltet. Um den Verarbeitungsaufwand zu verringern, ist
es dabei von großem
Vorteil, den zu betrachtenden Grauwertebereich in Abhängigkeit
der jeweiligen Anwendung einzuschränken. Bei den meisten Anwendungen
ist es insbesondere nicht erforderlich die Randbereiche des Grauwertbereichs
zu betrachten, so dass beispielsweise bei einer 8Bit Codierung der gesamte
Grauwertebereich [0,255] auf ein zu betrachtendes Grauwertintervall
von z.B. [100,200] eingeschränkt werden
kann. Auch ist es denkbar, nicht nur die Randbereiche von der Betrachtung
auszuschließen,
und mehr als zwei Grauwertintervalle fest vorzugeben. Wobei die
Binarisierungsschwelle ausgehend von der unteren Grenze des Grauwertebereichs
beispielsweise mit einer fest vorgegebenen Schrittweite variiert
wird, bis die obere Grenze des Grauwertebereichs erreicht ist. In
einer weiteren gewinnbringenden Ausführungsform der Erfindung kann
die Schrittweite der Binarisierungsschwelle auch derart gewählt sein,
dass diese dynamisch angepasst wird. Dabei ist es beispielsweise
denkbar, die Schrittweite in Abhängigkeit
der Anzahl der segmentierten Objekthypothesen zu erhöhen bzw.
zu verringern.
-
Die Segmentierung von Objekthypothesen erfolgt
anhand der mittels der Binarisierungsschwellen erzeugten Binärbilder.
Wobei beispielsweise eine Zusammenhangsanalyse mit dem Eingangs
erwähnten
single-pass Algorithmus für
die schnelle Konturcodierung von Binärbildern durchgeführt wird.
Zur Verringerung des Verarbeitungsaufwand ist es im Rahmen der Segmentierung
von großem
Vorteil, ein auf geometrischen Merkmalen basierendes Objektfilter
heranzuziehen. Das geometrische Objektfilter bezieht sich dabei
auf die Gestaltungsparameter der ROIs von zu segmentierenden Objekthypothesen. Beispielsweise
werden als Parameter die minimale Breite/Höhe sowie die maximale Breite/Höhe für die ROIs
von zu segmentierenden Objekthypothesen in Bildpunkten angegeben.
Bei runden Objekten hingegen bietet es sich in vorteilhafter Weise
an, den minimalen/maximalen Umfang sowie das minimale/maximale Höhen-/Breitenverhältnis für die ROI
von zu segmentierenden Objekten in Bildpunkten anzugeben. Ein weiterer
großer
Vorteil hinsichtlich der Reduzierung des Verarbeitungsaufwands besteht
darin, im Rahmen der Zusammenhangsanalyse zusätzliche Auswahlparameter zu
definieren, beispielsweise dahingehend ob ausschließlich helle
oder dunkle Gebiete segmentiert werden sollen.
-
In besonders vorteilhafter Weise
schließt sich
der Segmentierung von Objekthypothesen eine Klassifikation an. Segmentierte
Objekthypothesen werden dabei mittels eines Klassifikationsverfahrens verifiziert,
um Falschhypothesen zu verwerfen. Hierzu werden wenigstens zwei
Klassen definiert, eine Objektklasse für zu segmentierende Objekte
und eine Klasse für
zu verwerfende Falschhypothesen. In Abhängigkeit der jeweiligen Anwendung
sind auch mehrere Objektklassen denkbar, wodurch mehrere Objekttypen
unterschieden werden können.
Klassifikationsverfahren wie beispielsweise die Polynomklassifikation
oder die Support-Vektor-Machine (nach V. Vapnik), welche mit einer
geringen Anzahl von Lernbeispielen auskommen, sind aus dem Stand
der Technik bekannt. Bei Klassifikationsverfahren, welche auf dem
Lernen aus Beispielen beruhen, wird zunächst für jede Klasse ein Satz von
Lernbeispielen (Lernset) hinterlegt, wobei jedes Beispiel als Merkmalsvektor
hinterlegt wird, beispielsweise in Form eines Grauwertvektors. Ruf
Grundlage des Lernsets erlernt der Klassifikator bei der Adaption
die Abbildungsvorschrift, wie ein Merkmalsvektor auf einen Zielvektor
einer Klasse abzubilden ist. Bei der Klassifikation wird der Merkmalsvektor,
der die Objekthypothese beschreibt, anhand der zuvor adaptierten
Abbildungsvorschrift sodann einer Klasse zugeordnet. Damit die Ergebnisse
der Klassifikation vergleichbar sind bedarf es einer Normierung
der Merkmalsvektoren. Deshalb ist es bei solchen Klassifikationsverfahren
erforderlich die Objekthypothesen bevor diese in der Form eines
Merkmalsvektors zwischengespeichert werden einer Größennormierung
zu unterziehen. Die Größennormierung
basiert dabei auf der Rasterung der Merkmalsvektoren, wobei dem
Fachmann auf dem Gebiet der Bildverarbeitung die dazu nötigen Verfahren
bekannt sind.
-
Wie bereits erwähnt werden bei dem erfindungsgemäßen Verfahren
die ROIs der Objekthypothesen mit einem Clusterverfahren zusammengefasst,
um Mehrfachhypothesen beseitigen zu können. In der Schrift "Automatische Klassifikation" von Hans Herrmann
Hock, veröffentlicht
von "Vandenhoeck & Ruprecht, Göt tingen,
1974" werden hierfür geeignete
theoretische und praktische Methoden zur Gruppierung und Strukturierung
von Daten (Cluster-Analyse) beschrieben. Dort werden auch Agglomerative-Verfahren
wie beispielsweise die Complete-Linkage-Methode beschrieben. Für die mit
der Complete-Linkage-Methode zu betrachtenden Objekte wird eine
Distanzmatrix vorgegeben, wobei es sich bei den Distanzen um die
quadrierten euklidischen Distanzen zwischen einzelnen Objekten handelt.
-
In einer gewinnbringenden Ausführungsform der
Erfindung wird für
den Abstand zweier ROIs ein maximales Distanzmaß vorgegeben. Dabei entspricht
die Dimension des maximalen Distanzmaßes der Dimension der ROIs.
Beispielsweise wird ein mehrdimensionaler Vektor aufgespannt, indem
als Parameter für
die ROI die horizontale Lage des Schwerpunkts der ROI, die vertikale
Lage des Schwerpunkts der ROI, die Höhe der ROI sowie deren Breite
eingetragen sind.
-
Bei dem Verfahren werden sodann jeweils zwei
ROIs miteinander verglichen. Sind zwischen beiden ROIs die Abstände im Bezug
auf die einzelnen Dimensionen unterhalb der durch das maximale Distanzmaß vorgegebenen
Schranken, so werden beide ROIs einem gemeinsamen Cluster zugeordnet. Es
werden solange ROIs miteinander verglichen, bis alle ROIs Clustern
zugeordnet sind. Einzelne ROIs können
auch eigene Cluster bilden, falls diese mit keiner anderen ROI gemeinsam
die für
das Distanzmaß vorgegebene
Schranken einhalten. Zur Verringerung des Verarbeitungsaufwands
ist es vorteilhaft, die ROIs vor der Verarbeitung mit dem Clusterverfahren
auf Grundlage einer ihrer Parameter vorher der Größe nach
zu sortieren. Dies kann beispielsweise anhand des die horizontale
Lage der Schwerpunkte der ROIs beschreibenden Parameters erfolgen.
-
Zur Beseitigung von Mehrfachhypothesen erfolgt
im Anschluss an die Clusterung der ROIs innerhalb jedes Clusters
eine Selektion einer einzigen ROI. Wobei der dieser ROI zugeordnete
Grauwertvektor einer Objekthypothese entspricht und diese Ob jekthypothese
sodann das zu segmentierende Objekt repräsentiert. Zur Selektion einer
einzigen ROI innerhalb jedes Clusters wird hierbei nur ein Parameter
der ROI, beispielsweise die horizontale Lage des Schwerpunkts der
ROI, ausgewählt.
Es wird diejenige ROI selektiert, deren ausgewählter Parameter dem Medianwert
entspricht. Der dieser ROI zugeordnete Grauwertvektor repräsentiert
sodann das zu erkennende Objekt. Auch ist es denkbar mehrere Parameter
der ROI innerhalb desselben Clusters gleichzeitig zu betrachten.
Vorzugsweise wird dann für
jeden dieser Parameter zunächst
der Mittelwert gebildet. Im Anschluss wird sodann für die Parameter
der ROI nach der Least-Mean-Squares(LMS) Methode die Abweichung
vom Mittelwert berechnet. Wobei diejenige Objekthypothese die derjenigen
ROI, welche die geringste Abweichung vom Mittelwert aufweist, das
zu erkennende Objekt repräsentiert.
-
In besonders vorteilhafter Weise
kann das erfindungsgemäße Verfahren
bei industriellen Anwendungen eingesetzt werden. Beispielsweise
gibt es im Rahmen der Qualitätskontrolle
von Fertigungsprozessen eine große Anzahl an Prüfaufgaben,
bei denen eine Objekterkennung oder eine Vollständigkeitskontrolle erforderlich
ist. Eine weitere Einsatzmöglichkeit
des erfindungsgemäßen Verfahrens
besteht bei der Umgebungserfassung in Fahrzeugen. Wobei im Rahmen
der Umgebungserfassung beispielsweise eine automatische Verkehrszeichenerkennung
erfolgt. Auch ist die Erfassung von vorausfahrenden oder nachfolgenden
Fahrzeugen anhand eindeutiger Merkmale, wie beispielsweise deren
Beleuchtungseinrichtung, denkbar. Wobei das erfindungsgemäße Verfahren
deshalb besonders gut geeignet ist, da es Objektbezogen und mit
adaptiver Binarisierungsschwelle arbeitet, wodurch es besonders robust
gegen Schwankungen bei der Hintergrundbeleuchtung ist.